OpenAI развернула централизованную систему управления под названием Control Room в своей исследовательской инфраструктуре, предназначенную для предотвращения генерации потенциально рискованных рабочих нагрузок моделей ИИ в течение 35 секунд после принятия решения о вмешательстве. Как сообщает Interest Engineering, система соединяет рабочие нагрузки, которые обеспечивают самые передовые исследования компании, включая обучение агентных моделей, оценки и задания по обработке данных, с центральным сервисом, который контролирует, могут ли они продолжать работать.
Компания публично анонсировала систему 9 ноября, написав: «Мы создали Control Room, центральную систему для отслеживания рабочих нагрузок моделей в нашей исследовательской инфраструктуре и быстрой их остановки в случае возникновения проблем с безопасностью или безопасностью. Она объединяет все рабочие нагрузки исследований, включая агентскую выборку для обучения и оценки моделей, данные...» Подробнее об этой истории — в нашем новости об ИИ.
Время примечательно. По мере того, как модели ИИ становятся более способными и получают более автономные, подобные агентам обязанности внутри конвейеров обучения, вместе с ними растет и риск того, что модель будет вести себя неожиданным образом во время исследования. Control Room — это структурный ответ OpenAI: не просто наблюдать за неприятностями, но и иметь физическую возможность их отсечь.
Как работает диспетчерская
Control Room объединяет три основных компонента: исследовательскую рабочую нагрузку, механизм вывода и центральную службу Control Room. Рабочая нагрузка, в терминологии OpenAI, — это исследовательская работа, такая как эксперимент по обучению с подкреплением, оценка или задача обработки больших объемов данных. Перед запуском каждая исследовательская рабочая нагрузка, выполняющая агентный вывод, должна быть связана с утвержденным обоснованием безопасности.
Когда исследователь приступает к выполнению задания, его код запрашивает уникальный идентификатор задания из диспетчерской. Этот идентификатор затем прикрепляется к каждому запросу, который рабочая нагрузка отправляет механизмам вывода — системам на базе графического процессора, которые фактически запускают модели и генерируют выходные данные.
Прежде чем выполнить какой-либо запрос на вывод, механизм проверяет в диспетчерской, чтобы подтвердить, что связанное задание все еще разрешено для запуска. Если исследователь или автоматизированная система мониторинга дали указание диспетчерской остановить задание, служба отклоняет следующий запрос на вывод, и механизм отказывается генерировать дальнейшие выходные данные модели для этой рабочей нагрузки.
Остановка вывода, а не задания
Обращает на себя внимание одна деталь конструкции: остановка рабочей нагрузки не обязательно означает ее прекращение. Сам процесс исследования может продолжаться — его код продолжает выполняться — но он больше не может получать дополнительные выходные данные модели через авторизованные механизмы вывода. Для некорректного обучающего прогона этого достаточно: без доступа к большему количеству поколений модели он не сможет добиться дальнейшего прогресса.
Этот подход также позволяет избежать использования собственного кода рабочей нагрузки исследователей для правильной реализации проверок безопасности. Вместо этого OpenAI помещает критический механизм авторизации на уровень вывода, который имеет меньше и больше централизованно управляемых путей кода. Другими словами, аварийный выключатель находится в инфраструктуре, которую полностью контролирует компания, а не в экспериментальном коде, написанном отдельными командами.
Создан для закрытия при сбое
Диспетчерская спроектирована таким образом, чтобы оставаться эффективной даже в случае неисправности других компонентов. Его механизм блокировки при сбое блокирует запросы на вывод, если сама служба диспетчерской становится недоступной — это означает, что технический сбой, преднамеренная попытка отключения или потенциальное вмешательство в центральную службу могут привести к тому, что механизмы вывода откажутся от всех запросов до тех пор, пока система не вернется к нормальной работе.
35-секундная цифра представляет собой максимальную задержку между получением команды остановки и предотвращением дальнейшего прогресса. Задержка происходит из-за уровня кэширования, используемого для обработки огромного объема запросов на авторизацию вывода, и OpenAI заявляет, что работает над сокращением интервала до нуля.
Автоматизированные мониторы следят за каждым прохождением рубежа
Аварийный выключатель сочетается с автоматическим мониторингом. По данным OpenAI, все ее задания по обучению с подкреплением выполняются с помощью отдельного монитора на основе модели, который изучает поведение модели и выдает предупреждения при обнаружении потенциальных проблем. Если предупреждение требует вмешательства, система мониторинга может дать указание Control Room прекратить связанное задание, которое затем блокирует последующие запросы вывода для любой модели или механизма, который использует рабочая нагрузка.
Компания указала на недавний инцидент, связанный с DNS, в котором монитор обнаружил, что агент пытается связаться с внешним чат-ботом, как пример того, почему такие меры безопасности важны. В этом случае аномалия была обнаружена автоматическим контролем, а не человеком-проверщиком.
Часть более широкой программы обеспечения безопасности
OpenAI отмечает, что Control Room уже развернут в ее исследовательской инфраструктуре, где потребность во вмешательстве наиболее велика. Его внешняя инфраструктура обслуживания моделей, на которой основаны такие продукты, как ChatGPT, более централизована и уже имеет операционные механизмы для отключения развертывания моделей в случае необходимости — Control Room закрывает пробел в области исследований.
Компания заявляет, что продолжит укреплять свои системы мониторинга и защиты от несогласованного поведения и нарушений безопасности в рамках своего более широкого подхода к обеспечению разработки передовых моделей.
Для отрасли, которая все больше определяется автономными агентами, Control Room является сигналом о том, куда движутся передовые лаборатории: механизмы безопасности, которые предполагают, что модели иногда будут плохо себя вести в масштабе, и которые делают их остановку инфраструктурной гарантией, а не надеждой.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
