Дослідники продемонстрували нову потужну атаку проти розумових моделей ШІ, яка використовує фундаментальну сліпу пляму в тому, як великі мовні моделі (LLM) відокремлюють інструкції від даних. Техніка під назвою Chain-of-Thought (CoT) Forgery обманом змушує модель розглядати наданий зловмисником текст так, ніби це власне приватне внутрішнє міркування моделі, дозволяючи тексту перекривати законні інструкції.

Висновки, опубліковані Hackaday, підкреслюють, чому захист систем ШІ від маніпуляцій залишається невирішеною проблемою. Щоб бути в курсі нових загроз у цій галузі, слідкуйте за нашими висвітленням галузі штучного інтелекту для постійного аналізу.

Основна причина: плутанина ролей

В основі вразливості лежить те, що дослідники описують як «плутання ролей». Сучасні LLM отримують усі вхідні дані — системні правила, запити користувачів і власний ланцюжок думок моделі — через єдиний текстовий канал. Щоб навести порядок, розробники використовують теги метаданих, такі як ``, `` і ``, щоб створити ієрархію довіри. Директива ``, щоб уникнути шкідливого вмісту, наприклад, має перевизначати запит ``, що суперечить цьому.

Тег є особливо потужним, оскільки він представляє внутрішній процес міркування моделі, потік, який несе високу довіру. Проблема, як виявили дослідники, полягає в тому, що моделі не покладаються насамперед на самі теги, щоб вирішити, чому довіряти. Вони віддають перевагу стилю написання. Текст, стилістично відформатований так, щоб він нагадував внутрішній результат моделі ``, можна помилково прийняти за справжні міркування, незалежно від того, звідки він насправді походить.

Як працює атака

Важливо те, що CoT Forgery — це не просто упаковка зловмисного підказки в теги , які більшість моделей відхилили б. Натомість зловмисник пише заплутані міркування в стилі, який точно відповідає власному чіткому внутрішньому голосу міркувань моделі. Коли модель стикається з цим текстом, вона розглядає сфальсифіковане міркування як уже зроблений висновок.

Згідно з Hackaday, це змушує LLM приймати прозорі нелогічні міркування як передбачуваний висновок, змінюючи свою відповідь на запит користувача. Оскільки підроблений вміст сприймається як внутрішня думка, що викликає високу довіру, а не як введення користувача з низьким рівнем довіри, він може обійти захисні огорожі, які зазвичай блокують маніпулятивні інструкції.

Ієрархія довіри в LLM

Розуміння того, чому атака вдається, вимагає розуміння того, як працюють ролі. Під капотом ролі сегментують вхід моделі в організовану ієрархію. Інструкції в ролі виконуються, якщо вони не суперечать інструкціям з вищим пріоритетом. Наприклад, директива системного рівня «не обговорювати незаконні дії» має на меті перевизначити запит користувача надати заборонений рецепт. Роль «» розташована на вершині цієї ієрархії, оскільки вона представляє висновки, яких модель, на думку моделі, вже дійшла самостійно.

Порушення відбувається через те, що модель не підтримує цю ієрархію механічно. Натомість він визначає, який текст до якої ролі належить частково зі стилістичних ознак. Як зазначається в дискусії спільноти щодо дослідження, якщо текст створено як контекст мислення, модель може помилково вважати будь-який текст із подібною структурою справжнім міркуванням, а текст мислення має вищий пріоритет, ніж текст звичайного користувача.

Знайомий візерунок із новим відтінком

Дослідження базується на давно визнаній слабкості систем штучного інтелекту: миттєва ін’єкція. Ранні атаки використовували той факт, що LLM не мають окремих потоків для інструкцій і даних, тому така фраза, як «ігнорувати всі попередні інструкції», іноді могла перехопити поведінку моделі. Введення ролей і тегів метаданих мало пом’якшити це шляхом створення ієрархії довіри.

CoT Forgery демонструє, що пом’якшення є неповним. Поки моделі оцінюють достовірність тексту частково за його стилістичними характеристиками, а не за його структурними метаданими, зловмисники, які можуть імітувати правильний стиль, можуть посилити сприйману авторитетність свого введення.

Чому це важко виправити

Дослідники Чарльз Йе, Жасмін Куї та Ділан Хедфілд-Мелл стверджують, що сприйняття ролі в LLM не є бінарною властивістю, яку можна чітко застосувати. Моделі вчаться інтерпретувати теги через навчання, а не через жорстко закодовані правила, що означає, що їхня поведінка формується шаблонами в даних, і шаблони можна імітувати.

Обговорення спільноти роботи, виділене Хекадеєм, спричинило повторювану тему: найчистіше виправлення вимагатиме від моделей обробки довірених вхідних даних через структурно окремі шляхи, а не покладатися на вивчені стилі. Поки цього не станеться, захист від миттєвих атак у стилі ін’єкції, швидше за все, залишатиметься процесом, що розвивається, а не вирішеною проблемою.

Ширші наслідки

Вразливість має значення за межі лабораторних демонстрацій. Моделі міркування все частіше розгортаються в агентських системах, які можуть переглядати веб-сторінки, виконувати код і виконувати дії від імені користувача. Якщо зловмисник може підробити внутрішні висновки моделі, він зможе скерувати ці дії до ненавмисних або шкідливих результатів. Ризик зростає, коли моделі отримують більше автономності та доступу до інструментів. Дослідники відзначають, що люди залишаються розумними та креативними, і до тих пір, поки в моделях немає чіткого архітектурного поділу між надійним і ненадійним текстом, рішучі зловмисники продовжуватимуть знаходити способи розмивати межі. У документі проблема розглядається не так як помилка, яку потрібно виправити, а більше як структурна властивість систем, які навчаються своїй поведінці на основі даних, а не на основі жорстко закодованих правил.

Повний документ доступний на arXiv, а дослідники опублікували приклади коду на GitHub, щоб розробники могли перевірити, чи їхні власні системи сприйнятливі.

Будьте попереду ШІ

Щоб дізнатися більше про дослідження безпеки штучного інтелекту, вразливості безпеки та передові можливості великих мовних моделей, відвідайте AI Buzz Wire.

Читати більше новин AI →