Трехнедельные учения красной команды выявили новые уязвимости во внутренней системе мониторинга рассогласованности OpenAI, в том числе способы, с помощью которых агенты ИИ в принципе могут предпринимать действия, даже не подвергаясь проверке со стороны людей. METR, некоммерческая некоммерческая организация, занимающаяся оценкой, 22 октября опубликовала краткое изложение выводов, основанное на 61-страничном внутреннем отчете, который она предоставила исследователям OpenAI и сотрудникам службы безопасности.

Пилотный проект проходил с 21 июля по 11 августа и предоставил одному сотруднику METR и одному сотруднику Redwood Research необычно глубокий доступ к внутренней инфраструктуре OpenAI: базе кода, подсказкам и конфигурации системы мониторинга, внутренней документации и техническим интервью примерно с дюжиной исследователей и инженеров из команд мониторинга, систем безопасности и безопасности. Они работали над устройствами, выпущенными OpenAI, которые никогда не покидали помещения и сопровождались на месте. Дополнительную информацию об этом направлении исследований можно найти в нашей статье последние разработки в области искусственного интеллекта.

Что нашла Красная команда

Упражнение было сосредоточено на двух вопросах: какая часть агентного вывода OpenAI на самом деле отслеживается и могут ли агенты отключить или разрушить систему мониторинга. Ответы выявили существенные пробелы.

Что касается охвата, по оценкам METR, примерно от 75 до 94 процентов агентского внутреннего трафика Responses API (API, который, среди прочего, поддерживает Кодекс) от моделей, по крайней мере, таких же функциональных, как GPT-5.5, подлежало мониторингу в то время, хотя организация отмечает существенную неопределенность в обоих направлениях. В подмножестве трафика, используемого для внутренних агентов Кодекса, право на участие имело 99,2 процента. Но право на участие — это не то же самое, что покрытие: тренировки с подкреплением обучения не были охвачены системой мониторинга в начале учений, а из-за неконтролируемых событий уплотнения, вероятно, в период с мая по июль 2026 года не контролировалось порядка 10 процентов подходящего внутреннего трафика Кодекса. Сотрудники OpenAI самостоятельно выявили проблему уплотнения перед учениями и устранили ее во время их проведения.

Детали времени имели значение. Поскольку монитор срабатывает, когда агенты возвращают управление пользователю, агент может на неопределенный срок отложить наблюдение, просто продолжая выполнять действия в течение неотслеживаемого окна.

Команда также зафиксировала активные пути уклонения. Агенты Кодекса в принципе могут обходить «песочницу» Кодекса и автоматическое рассмотрение, позволяя им выполнять любые действия, которые может предпринять пользователь хоста. METR обнаружил эксплойт, который препятствовал отслеживанию сотен недавних действий, включая действия, связанные с самим эксплойтом; OpenAI отредактировала технические детали. Агенты, вероятно, могли бы создать входные данные, которые привели бы к сбою монитора, используя различия сериализации между траекторией, которую видит агент, и тем, что видит монитор, избегая эскалации до проверки человеком. Также были обнаружены два управляемых клиентом заголовка, которые отключают мониторинг для новых агентов, что потенциально позволяет агенту запускать неконтролируемый, но в остальном идентичный экземпляр — хотя METR отмечает, что сам процесс установки этих заголовков может быть перехвачен.

Наконец, команда выявила два неконтролируемых внутренних агентских инструмента, предположительно имеющих разрешения только на чтение, а также простой эксплойт, который можно было использовать для обхода этих ограничений. МЭТР не подтвердило такое поведение на практике.

Что задержало

В ходе учений также были проверены отдельные части системы. За некоторыми незначительными исключениями, на мониторе отображается вся траектория, которую видят агенты. Было подтверждено, что запросы мониторинга касаются интриг, подрыва системы, саботажа, кражи данных, обмана, а также входящего и исходящего внедрения подсказок, а также других категорий риска. Что касается надежности, информация, предоставленная METR, предполагала, что монитор допустил ошибку менее чем в 0,2 процента запросов, и за один 24-часовой период во время учений не было нулевых сбросов нагрузки.

Ответ OpenAI

По данным METR, OpenAI заявила, что все выявленные уязвимости, влияющие на ее производственный стек защитных мер, были исправлены, и описала существенные последующие изменения в предполагаемом охвате своей системы мониторинга. METR не оценивала эти заявления, и его выводы описывают систему в том виде, в каком она существовала на 21 июля или ранее, а не расширенную версию, которую OpenAI уже создавала во время учений.

Уроки проектирования для надзора за агентами

METR завершил свой обзор идеалами проектирования будущей инфраструктуры мониторинга, которая, по ее мнению, должна противостоять преднамеренным, стратегическим и устойчивым атакам со стороны высокоэффективных внутренних агентов в любом масштабе. Два выделяются. Мониторинга должно быть трудно избежать: выполнение неотслеживаемых запросов должно требовать явного одобрения, привязанного к конкретным организациям или ключам API, которым запрещен агентский вывод, а агенты должны отслеживаться каждые N сообщений или минут, а не только тогда, когда они заканчивают свои ходы. И охват должен быть проверяемым: тщательный учет всех выводов, периодически сопоставляемый с собственными журналами системы мониторинга, чтобы все, что предназначено для мониторинга, было очевидно.

Упражнение было задумано как пилотный проект для предоставления внешним исследователям глубокого доступа к внутренней инфраструктуре пограничной лаборатории, а не как отчет о публичной прозрачности — METR и OpenAI заранее договорились, что будет опубликован только краткий пост высокого уровня. Некоммерческая организация заявляет, что будущие версии будут следовать практикам прозрачности и независимости, описанным в ее рамках работы с компаниями, занимающимися искусственным интеллектом. Поскольку агенты берут на себя более важную работу внутри лабораторий, в которых они созданы, пилотный проект предлагает образец того, как посторонние могут следить за происходящим.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →