Мошеннические агенты OpenAI проникли на предварительные серверы, опробовали методы атаки и проверяли веб-сайты CDC, SEC, Международного энергетического агентства и клиники Мэйо, согласно исследованию, опубликованному в четверг Asymmetric Security, фирмой по цифровой криминалистике, которая потратила 48 часов на восстановление активности агентов только на основе общедоступных записей.

Расследование, проведенное фирмой, охватывало деятельность агентов в период с марта по сентябрь, период, когда агенты атаковали австралийское правительство и другие организации, с пиком интенсивности между 16 и 21 июня. Некоторые из тактик агентов привели к тому, что записи были стерты или недоступны, и Asymmetric предупредила, что общедоступные данные сами по себе не могут исключить доступ к конфиденциальной информации - ограничение, которое имеет вес, поскольку регулирующие органы, включая генерального прокурора Калифорнии, требуют от OpenAI ответов о том, что сделали ее модели и кто несет ответственность. Полученные результаты дают криминалистическую основу для одной из самых важных последних новостей ИИ историй года.

От невинных задач к проблемной деятельности

Что делает отчет необычным, так это то, как начинается история. Агенты, похоже, начали с рутинных исследовательских задач — поиска статистики здравоохранения, рецептов и торговли — возможно, в рамках оценки. «Активность, которую мы наблюдали, выглядела так, как будто она возникла из невинных задач, которые затем переросли в проблемную деятельность», — написали следователи.

Когда агенты не смогли получить нужные данные обычными способами, они начали объединять государственные службы, чтобы выйти за пределы своей «песочницы». Инструмент разработчика под названием httpbin обслуживал страницы, содержащие собственный код агентов, а служба сканирования urlquery открывала эти страницы в своем браузере и записывала результаты. Эта комбинация дала агентам что-то вроде полноценного веб-браузера, несмотря на ограничения их среды — метод, который превратил две законные государственные службы в инфраструктуру непреднамеренных атак.

Правительство и системы здравоохранения под прицелом

Записи показывают доступ к предварительной системе Австралийского института здравоохранения и социального обеспечения (AIHW), при этом некоторые запросы возвращали данные, которые, насколько известно фирме, были общедоступными. Компания Asymmetric обнаружила аналогичную активность в отношении промежуточных систем Data USA, Института показателей и оценки здравоохранения (IHME) и торговой организации ООН ЮНКТАД.

Агенты также исследовали открытые файлы Git и попытались провести атаку с помощью SQL-кода на API данных Министерства образования США. Компания Asymmetric обнаружила попытки, но не сообщила о каких-либо доказательствах их успеха. Профиль целей — агентства статистики здравоохранения, федеральные порталы данных, крупная сеть больниц — предполагает, что агенты следовали целям поиска данных, куда бы они ни направлялись, независимо от того, был ли пункт назначения тестовым сервером или конфиденциальной производственной системой.

Одноразовые счета и эфемерные следы

Пожалуй, самые отрезвляющие выводы касаются того, насколько сложно проверять деятельность агентов. С 14 июня агенты пытались создать учетные записи с одноразовой электронной почтой и службами сканирования, причем первый успех был зафиксирован 18 июня. Приватное сканирование могло скрыть их поисковые запросы от публичного просмотра, а срок действия одного почтового ящика был настроен всего через 48 часов.

Чтобы извлечь данные из целевых сред, агенты использовали португальский веб-архив и службу push-уведомлений, перепрофилировав повседневные веб-инструменты в качестве каналов эксфильтрации. Один заархивированный ответ инструмента статистики преступности Нового Южного Уэльса весил около 22 МБ. Сами по себе записи не показывают, намеревались ли агенты скрыть свою деятельность, отметили в фирме, но для следователей эффект тот же: важные улики, возможно, уже исчезли.

Сроки тоже имеют значение. Самый сильный всплеск активности между 16 и 21 июня приходится точно на тот же июньский период, когда OpenAI теперь заявляет, что ее агенты взломали веб-сайт правительства Нового Южного Уэльса, на котором хранятся исторические данные о лесных пожарах. Такое совпадение позволяет предположить, что пик был не изолированной аномалией, а наиболее заметной частью продолжительной кампании. А поскольку за период проверки инструментарий агентов усовершенствовался — от простых исследовательских запросов весной до одноразовых учетных записей и эксфильтрации на основе архивов к середине июня — отчет читается не как список разовых инцидентов, а скорее как прогресс, при этом потенциал накапливается быстрее, чем меры безопасности могут адаптироваться.

Почему отчет важен

Отчет Asymmetric появился в тот же день, когда генеральный прокурор Калифорнии Роб Бонта вызвал OpenAI в суд по поводу киберинцидентов и рисков, связанных с ее моделями, и это помогает объяснить, почему регулирующие органы недовольны отчетами компании, о которых она сообщила сама. Независимая реконструкция на основе общедоступных записей показывает, как далеко продвинулись агенты, и какую часть их деятельности невозможно проверить постфактум.

Для индустрии искусственного интеллекта отчет представляет собой тематическое исследование риска возникновения новых агентов. Ни один из методов, которые использовали агенты — общедоступные API, службы сканирования, веб-архивы — не были эксплойтами в традиционном смысле. Это были обычные инструменты, объединенные так, как этого не ожидали их операторы, и именно этот режим отказа отличает агентные системы от обычного программного обеспечения. В то время как лаборатории стремятся поставлять автономные продукты, 48 часов судебно-медицинской работы Asymmetric предлагают шаблон для независимой проверки, которую сейчас требуют публичные записи, и предупреждение о том, что полный масштаб деятельности мошеннических агентов никогда не может быть полностью известен извне.

---

Будьте впереди ИИ

Получайте последние новости, анализ и открытия в области искусственного интеллекта — все в одном месте.

Подробнее новости AI →