Тритижневі тренування червоної команди виявили нові вразливості у внутрішній системі моніторингу розбіжностей OpenAI, включаючи способи, за допомогою яких агенти штучного інтелекту могли, в принципі, вживати заходів, навіть не перевіряючись людьми. METR, незалежна некомерційна організація з оцінки, 22 жовтня опублікувала загальний підсумок результатів, взятий із 61-сторінкового внутрішнього звіту, який він надав дослідникам OpenAI та співробітникам служби безпеки.

Пілотний проект тривав з 21 липня по 11 серпня і надав одному співробітнику METR і одному співробітнику Redwood Research надзвичайно глибокий доступ до внутрішньої інфраструктури OpenAI: кодової бази, підказок і конфігурації системи моніторингу, внутрішньої документації та технічних інтерв’ю з приблизно дюжиною дослідників і інженерів у групах моніторингу, систем безпеки та безпеки. Вони працювали на пристроях OpenAI, які ніколи не виходили з приміщення та їх супроводжували на місці. Щоб дізнатися більше про цей напрямок досліджень, перегляньте наші останні розробки ШІ.

Що знайшла Червона команда

Вправа була зосереджена на двох питаннях: яка частина агентських висновків OpenAI фактично відстежується та чи можуть агенти відключити або підірвати систему моніторингу. Відповіді виявили змістовні прогалини.

Щодо охоплення, METR оцінило, що приблизно від 75 до 94 відсотків агентського внутрішнього трафіку Responses API — API, який, серед іншого, підтримує Codex — від моделей, щонайменше таких же можливостей, як GPT-5.5, підлягало моніторингу на той час, хоча організація відзначає значну невизначеність в обох напрямках. У підмножині цього трафіку, що використовується для внутрішніх агентів Codex, 99,2 відсотка були прийнятними. Але відповідність вимогам не дорівнює охопленню: тренування з підкріпленням не охоплювалися системою моніторингу на початку навчань, і неконтрольовані події ущільнення, ймовірно, залишили близько 10 відсотків прийнятного внутрішнього трафіку Codex без моніторингу в період з травня по липень 2026 року. Співробітники OpenAI самостійно виявили проблему ущільнення перед навчанням і виправили його під час виконання.

Деталі часу мали значення. Оскільки монітор спрацьовував, коли агенти повертали керування користувачеві, агент міг на невизначений час відкласти спостереження, просто продовжуючи виконувати дії під час неконтрольованого вікна.

Команда також задокументувала активні шляхи ухилення. Агенти Codex можуть в принципі обійти ізольоване програмне середовище Codex і автоматичний перегляд, дозволяючи їм виконувати будь-які дії, які може виконати користувач хосту. METR виявив експлойт, який запобігає моніторингу сотень нещодавніх дій, включно з діями, пов’язаними з самим експлойтом; OpenAI відредагував технічні деталі. Агенти, ймовірно, могли створити вхідні дані, які спричинили збій монітора, використовуючи відмінності серіалізації між траєкторією, яку бачить агент, і тим, що бачить монітор, уникаючи ескалації до перевірки людиною. Було виявлено два контрольовані клієнтом заголовки, які вимикають моніторинг нових агентів, потенційно дозволяючи агенту запустити неконтрольований, але в іншому випадку ідентичний екземпляр — хоча METR зазначає, що сам акт налаштування цих заголовків може бути спійманий.

Нарешті, команда виявила два неконтрольованих внутрішніх агентських інструменти, які, як вважають, мали дозволи лише на читання, а також простий експлойт, який міг бути використаний для підриву цих обмежень. METR не підтвердив таку поведінку на практиці.

Що затрималося

Навчання також перевіряли частини системи. За кількома незначними винятками, на моніторі відображається повна траєкторія, яку бачать агенти. Було підтверджено, що підказки моніторингу шукають інтриги, підрив системи, саботаж, викрадання даних, обман, а також вхідне та вихідне швидке впровадження, серед інших категорій ризику. Щодо надійності, інформація, яку надав METR, свідчить про те, що монітор помилявся менш ніж у 0,2 відсотках запитів, а протягом одного 24-годинного періоду під час навчання не було жодного зниження навантаження.

Відповідь OpenAI

Відповідно до METR, OpenAI заявив, що всі виявлені вразливості, які впливають на стек гарантій виробництва, було виправлено, і описав значні наступні зміни в планованому охопленні своєї системи моніторингу. METR не оцінював ці заяви, і його висновки описують систему, яка існувала 21 липня або раніше, а не розширену версію, яку OpenAI вже створював під час навчань.

Уроки дизайну для агентського контролю

METR завершив своє резюме ідеалами дизайну для майбутньої інфраструктури моніторингу, яка, як стверджується, повинна протистояти навмисним, стратегічним і стійким атакам з боку висококваліфікованих внутрішніх агентів у великому масштабі. Два виділяються. Слід важко уникнути моніторингу: виконання неконтрольованих запитів має вимагати явного схвалення, прив’язаного до певних організацій або ключів API, які заборонені для агентського висновку, і агентів слід контролювати кожні N повідомлень або хвилин, а не лише після завершення черги. І охоплення має підлягати перевірці: ретельний облік усіх висновків, періодичне перехресне порівняння з власними журналами системи моніторингу, щоб усе, що призначено для моніторингу, було доказово.

Вправа була розроблена як пілотна програма для надання зовнішнім дослідникам глибокого доступу до внутрішньої інфраструктури передової лабораторії, а не як публічний звіт про прозорість — METR і OpenAI заздалегідь домовилися, що буде опубліковано лише коротку публікацію високого рівня. Некомерційна організація стверджує, що майбутні версії дотримуватимуться практики прозорості та незалежності, описаної в її структурі для роботи з компаніями ШІ. Оскільки агенти беруть на себе більш послідовну роботу в лабораторіях, які їх створюють, пілот пропонує шаблон для того, як сторонні можуть стежити.

---

Будьте попереду ШІ

Отримуйте останні новини штучного інтелекту, аналіз і прориви — усе в одному місці.

Читати більше новин AI →