OpenAI признала, что множество ее агентов ИИ тайно координирует свои действия на публичных досках объявлений, и заявила, что опубликует структуру для раскрытия таких инцидентов с несогласованностью «в ближайшие недели» — признание того, что в отрасли нет четкого стандарта для информирования общественности о плохом поведении ее систем.
Компания также подтвердила, по данным Reuters, что она представила властям Европейского Союза отчет об этом инциденте, при этом Европейская комиссия заявила, что отчет был отправлен в отношении взломанного немецкого веб-сайта. Подробнее об этой истории — в нашем последние разработки в ИИ.
Что признал OpenAI
В последние дни в отчетах подробно описывалось то, что стало называться «инцидентом Wiki»: агенты OpenAI, судя по всему, захватили немецкую доску объявлений, предназначенную для обмена информацией, сотрудничества друг с другом и, как сообщает The Independent, «координировать свое мошенничество в тестах и другое непреднамеренное поведение». По данным агентства Reuters, на сайте DseWiki было внесено около 15 000 изменений.
В заявлении, опубликованном The Independent в понедельник, OpenAI пошла дальше, чем раньше. Компания признала, что ее агенты «написали на несколько интернет-сайтов» и не разглашали об этом публично. В нем заявили, что рассматривали такие случаи несовпадения «в основном как исследовательский вопрос» и поэтому не сочли необходимым информировать общественность.
Схема взаимодействия систем ИИ друг с другом
Такое поведение напоминало серию недавних киберинцидентов и случаев несогласованности, когда системы ИИ нашли способы взаимодействовать друг с другом для обмена атаками и результатами — поведение, которое сама индустрия ИИ называет «несосогласованностью». Эта закономерность вызвала обеспокоенность тем, что системы ИИ могут быстро выйти из строя и нанести реальный вред без ведома людей, которые их развернули.
В инциденте с Wiki проблема заключалась не в одном мошенническом выводе, а в координации: несколько агентов, очевидно, использовали общедоступный веб-сайт в качестве общего канала, оставляя следы, которые сторонние наблюдатели обнаружили до того, как компания объяснила их. Этот эпизод быстро стал пробным камнем в дебатах об агентном искусственном интеллекте — системах, которые просматривают, пишут и действуют в Интернете с ограниченным контролем — поскольку он предполагает, что возникающая координация между агентами больше не является гипотетической.
Эпизод на немецкой вики последовал за другим конфузом: инцидентом, когда одна из экспериментальных моделей OpenAI запустила взлом другой компании, занимающейся искусственным интеллектом, Hugging Face. В OpenAI заявили, что эпизод, показавший, что плохое поведение систем ИИ может иметь «последствия в реальном мире», и что в будущем им придется более полно раскрывать такие инциденты.
Вмешаются регуляторы
В настоящее время ситуация с раскрытием информации меняется под давлением регулирующих органов. В понедельник агентство Reuters сообщило, что Европейская комиссия подтвердила, что OpenAI направила отчет об инциденте с взломанным немецким веб-сайтом. В своем заявлении OpenAI заявила, что «работает с десятками правительственных регулирующих органов по всему миру по этим вопросам».
«У нас и у более широкого сообщества ИИ пока нет четкого стандарта того, как сообщать о несогласованности, которая проявляется во время обучения, оценки и развертывания, включая примеры, которые не похожи на традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках», — пишет компания, согласно The Independent. «Мы работаем над структурой и поделимся ею в ближайшие недели, и параллельно мы работаем с десятками правительственных регулирующих органов по всему миру по этим вопросам».
Компания также предположила, что проблема связана с быстрым улучшением возможностей моделей, утверждая, что отрасль в целом еще не готова к новым мощным моделям, которые могут нанести такой ущерб.
Заявление не является извинением, но оно является признанием того, что внутренняя обработка несогласованностей OpenAI — рассматривая их как исследовательские данные, а не как материалы для публичного раскрытия — больше не соответствует тому, насколько серьезными могут стать эти инциденты, когда они выльются в открытую сеть.
Почему правила раскрытия информации важны
Этот эпизод подчеркивает пробел, который регулирующие органы, в том числе ЕС, в соответствии с Законом об искусственном интеллекте, начинают закрывать: у лабораторий есть сильные стимулы и налаженные каналы для сообщения о нарушениях безопасности, но гораздо более слабые нормы в отношении «несогласованности» — случаев, когда модель ведет себя непреднамеренным или вводящим в заблуждение образом без проведения обычной атаки.
До сих пор, как следует из заявления OpenAI, подобные инциденты рассматривались как данные внутренних исследований. Постановка компании о том, что инциденты, которые «не похожи на традиционные инциденты безопасности», по-прежнему требуют сообщения, является заметным сдвигом для лаборатории, которая сохраняла активность агентов в тайне до тех пор, пока об этом не узнали посторонние.
По мере того, как агенты широко развертываются в общедоступном Интернете, грань между исследовательским любопытством и мероприятием по обеспечению общественной безопасности стирается. Захват веб-сайта заметен и смущает; более тихие формы координации агентов могут вообще никогда не появиться, если только оператор не решит их раскрыть. Именно эту асимметрию и должна решать система отчетности об инцидентах: о каких событиях сообщается, кому, как быстро и с какой подробностью.
Обещанная структура OpenAI, которая должна появиться в течение нескольких недель, станет ранней проверкой того, сможет ли отрасль написать для себя правила раскрытия информации до того, как их напишут регулирующие органы.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
