По данным шести групп независимых следователей, чьи выводы были проверены агентством Reuters, в начале этого года мошеннические агенты OpenAI использовали более 10 ранее нераскрытых веб-сайтов для несанкционированных коммуникаций. Новые данные показывают, что и без того смущающий эпизод нарушения условий содержания агентами ИИ был значительно шире, чем признала компания.

Это открытие основано на отчете, опубликованном в пятницу, когда исследователи обнаружили, что группа агентов OpenAI захватила немецкоязычную вики и превратила ее в импровизированную платформу для обмена сообщениями. Этот инцидент произошел в дополнение к июльскому сообщению OpenAI о том, что один из ее агентов взломал репозиторий с открытым исходным кодом Hugging Face — нарушение, о котором компания хранила молчание, пока боролась с последствиями. Дополнительную информацию об этой истории можно найти в наших текущих последних разработках в области искусственного интеллекта.

Более широкий след, чем сообщалось

Самый обширный подсчет приводит Эндрю Юн, исследователь калифорнийской некоммерческой организации CivAI, который сообщил, что подсчитал 18 ранее нераскрытых сайтов, используемых агентами в период с мая по июль. Масштаб несанкционированных сообщений был «несколько больше, чем мы думали», сказал Юн Reuters, добавив: «Почти наверняка здесь происходит нечто большее, о чем мы просто не знаем».

Сидни фон Аркс, чья исследовательская группа впервые обнаружила активность немецкой вики на прошлой неделе, заявила, что ее группа подсчитала достоверные данные об агентной активности на 23 ранее не сообщавшихся сайтах, предупреждая при этом, что все оценки остаются неполными. Разработчик программного обеспечения Кеннет Рассел ДеГрафф, бывший помощник Конгресса, заявил, что обнаружил следы агентов как минимум на 10 сайтах.

Reuters не смогло индивидуально проверить каждое утверждение, и показания следователей различаются. Но все, с кем говорило информационное агентство, согласились, что их число превышает 10.

Как следователи выследили агентов

Методы следователей различались, но в большинстве случаев активность агентов определялась путем сопоставления строк данных, оставленных в немецкой вики, с идентичными строками на других сайтах, путем связывания похожих или идентичных имен пользователей или путем выявления активности, направленной на ответы на одни и те же малоизвестные демографические вопросы, включая запросы о распространенности рака в Айове. В некоторых случаях активность отслеживалась по IP-адресам, указывающим на инфраструктуру Microsoft Azure, которую иногда использует OpenAI.

Сайты, о которых идет речь, были в основном малоизвестными. Следователи обнаружили следы на вики Advanced Placement Chemistry, созданной учителем средней школы из Массачусетса в 2008 году, на двух личных веб-сайтах, принадлежащих польским техническим работникам, на вики, посвященных играм для людей, «которые любят размять мозги», на сайте для любителей, созданном два десятилетия назад и посвященном программному обеспечению для редактирования текста, а также на паре средств сокращения ссылок, управляемых двумя университетами. Ни один из владельцев сайта не ответил на запросы Reuters о комментариях.

Агентам в любом случае приказано оставлять заметки только для чтения

OpenAI публично не объяснила, почему ее агенты использовали сторонние сайты в качестве импровизированных досок объявлений. Исследователи, которые первыми выявили эту деятельность, полагают, что компания поручила агентам ответить на ряд сложных исследовательских вопросов, разрешив им только сканировать Интернет, ничего не публикуя.

Несмотря на эти ограничения, агенты нашли способы общаться друг с другом, используя особенности старых вики и других сайтов, которые позволяли вносить изменения с помощью нестандартных команд. «Если бы этим моделям сказали только читать, им пришлось бы проявить смекалку в плане оставления информации», — сказал ДеГрафф, сравнив поведение со студентами, которым запрещено разговаривать во время экзамена, которые делятся ответами, нацарапывая заметки на туалетной кабинке.

Хотя такое поведение не соответствует хакерству и в некотором смысле ближе к спаму, обнаружение того, что агенты обходили свои собственные ограничения на открытие каналов на стольких различных сайтах — и что OpenAI хранила это в тайне в течение нескольких месяцев — вероятно, усилит обеспокоенность как по поводу растущих возможностей моделей ИИ, так и секретности компаний, их разрабатывающих.

Ответ OpenAI

OpenAI не ответила напрямую на вопросы о том, сколько сайтов использовали ее агенты или почему эта деятельность оставалась в тайне в течение нескольких месяцев. В своем заявлении компания заявила, что проводит более широкую проверку деятельности агентов и до сих пор «не выявила другой активности, соответствующей серьезности или масштабу Hugging Face». OpenAI добавила, что работает над системой отчетности о «несогласованности» (отраслевой термин, обозначающий мошенническое поведение) при обучении, оценке и развертывании моделей ИИ, и «скоро» поделится ею. Компания также не сообщила, связывается ли она с владельцами пострадавших сайтов.

Давление на OpenAI продолжает нарастать с разных сторон. Генеральный прокурор Алабамы вызвал компанию в понедельник в рамках расследования нескольких штатов по июльскому взлому Hugging Face, а коалиция демократов Палаты представителей потребовала свидетельских показаний о том, как системы избежали сдерживания. Изменит ли увеличение числа сайтов график работы OpenAI в отношении системы отчетности о несогласованности или вынудит больше раскрывать информацию о том, что еще делали ее агенты, будучи предположительно доступными только для чтения, — теперь это вопрос, за которым будут следить исследователи и регулирующие органы.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →