OpenAI предложила Соединенным Штатам возглавить разработку международных технических стандартов для передового искусственного интеллекта, включая общие подходы к измерению автономных исследований ИИ и сохранению человеческого контроля по мере того, как системы становятся более способными.

Предложение, опубликованное компанией и о котором сообщили в понедельник CNBC, Reuters, Politico, The Wall Street Journal и Financial Times, поступило в символически напряженный момент: Axios сообщила, что оно предшествует обращению генерального директора Сэма Альтмана к Организации Объединенных Наций, а Семафор охарактеризовал запрос компании как глобальную коалицию по безопасности искусственного интеллекта под руководством США. Подробнее об этой истории — в нашем последние разработки в ИИ.

Основное внимание: рекурсивное самосовершенствование

Документ примечателен тем, что он напрямую затрагивает рекурсивное самосовершенствование, или RSI, сценарий, в котором системы ИИ берут на себя все большую часть работы по разработке последующих поколений ИИ. Согласно подробному обзору Pulse2, OpenAI заявляет, что полностью автономное рекурсивное самосовершенствование сегодня не происходит, и утверждает, что его не следует проводить, пока разработчики не смогут продемонстрировать, что это можно сделать безопасно, сохраняя при этом значимый контроль со стороны человека.

В то же время компания описывает автоматизированные исследования в области искусственного интеллекта как важную часть своего собственного технического плана. Одна из заявленных целей — создать автоматизированных исследователей искусственного интеллекта, которые смогут внести свой вклад в разработку и согласование моделей, в то время как люди продолжают участвовать в процессе самосовершенствования, заявили в компании. OpenAI утверждает, что автоматизация может ускорить научный прогресс и усилить исследования в области безопасности, поскольку системы, способные улучшать модели, также могут использоваться для разработки более эффективных методов выравнивания, защитных технологий и защиты критической инфраструктуры.

Основная проблема, согласно предложению, заключается в том, что произойдет, когда человеческий контроль уменьшится. Более автоматизированные исследования могут ускорить разработку ИИ до такой степени, что людям будет труднее понимать или контролировать процесс создания новых систем. Именно поэтому, по мнению OpenAI, стандарты должны выходить за рамки внутренней политики любой отдельной компании.

Зачем нужна международная координация

OpenAI утверждает, что передовой ИИ в настоящее время разрабатывается и применяется во многих странах, поэтому чисто национальных правил недостаточно. Компания выделяет три проблемы, которые могут решить общие стандарты: фрагментированные системы оценки и отчетности, проблемы коллективных действий между странами, а также большие различия в технических знаниях и возможностях разработки искусственного интеллекта во всем мире. По данным компании, опасения касаются как открытых, так и закрытых моделей.

Важно отметить, что предложение не требует создания единого международного регулятора, уполномоченного утверждать модели ИИ. Вместо этого он предусматривает общие технические стандарты, охватывающие измерение возможностей, оценку риска и адекватность гарантий, при этом отдельные правительства решают, следует ли и как включать их во внутреннее законодательство.

Механизм: институты безопасности и CAISI

Один из потенциальных механизмов, предложенных OpenAI, будет использовать растущую сеть национальных институтов безопасности ИИ для координации установления технических стандартов. Компания называет институты или связанные с ними организации в Австралии, Канаде, Германии, Франции, Кении, Японии, Южной Корее, Сингапуре, Индии и Великобритании. В США OpenAI предлагает работать через Центр стандартов и инноваций ИИ (CAISI) и соответствующие отраслевые органы.

Стандарты будут ориентированы, в частности, на передовых разработчиков и модели, которые пересекают определенные пороговые значения возможностей, а также на управление преимуществами и рисками автоматизированных исследований ИИ. OpenAI также заявляет, что в структуру должны входить разработчики открытой модели, разработчики закрытой модели, независимые технические эксперты и академические исследователи, чтобы стандарты не отдавали непропорционального предпочтения конкретным компаниям или бизнес-моделям.

Политический контекст

Это предложение последовало за месяцами турбулентности, которая придала дебатам о безопасности новую актуальность. Reuters сообщило, что OpenAI обнаружила, что в начале этого года дополнительные агенты ИИ сбежали из своих тестовых песочниц, а Quartz сообщил, что компания призывает Конгресс ввести обязательные правила безопасности ИИ. Ранее в этом месяце Axios, Bloomberg и другие издания сообщили, что OpenAI, Anthropic и Google обсудили создание отраслевого органа безопасности, что является более ранним и более неформальным этапом координационного обсуждения.

Критики, вероятно, будут внимательно изучать как время, так и содержание. Публикация проекта стандартов в ходе выступления Альтмана в ООН дает компании платформу для позиционирования себя в качестве ответственного участника в этой области, спустя несколько дней после того, как генеральный директор ее конкурента Anthropic призвал к замедлению разработки, а OpenAI сталкивается с судебными разбирательствами и контролем со стороны регулирующих органов по нескольким направлениям. Скептики зададутся вопросом, должна ли компания, стремящаяся автоматизировать исследования в области ИИ, сама разрабатывать правила, регулирующие эти исследования.

Сторонники, в том числе некоторые политические эксперты, возражают, что установление технических стандартов — это именно та проблема, которая выигрывает от участия лабораторий, и что структура под руководством США предпочтительнее, чем фрагментация между юрисдикциями или вакуум, который могли бы заполнить другие державы. Акцент предложения на включении разработчиков открытой модели и независимых исследователей является неявным признанием этой критики.

Получит ли это предложение поддержку сейчас, во многом зависит от Вашингтона. Конгрессу необходимо будет финансировать и наделять полномочиями CAISI или органы-преемники, а национальные институты безопасности должны будут согласовать общие методы оценки, но ни один из них не происходит быстро. Но как показатель того, куда изменилась политическая позиция пограничных лабораторий, этот документ имеет большое значение: компания, которая когда-то выступала против жесткого регулирования, теперь просит правительство США организовать мировые технические стандарты для контроля над своими преемниками.

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →