Крупномасштабная спецоперация против сантехники индустрии искусственного интеллекта задокументировала, что происходит с подсказками, которые пользователи отправляют каждый день, и ответ таков: они утекают. Исследователь безопасности Х.Д. Мур, главный научный сотрудник компании Dragos, занимающейся промышленной безопасностью, отправил почти два миллиона запросов ИИ, содержащих уникальные, отслеживаемые секреты, поставщикам ИИ, а затем наблюдал, где эти секреты всплыли. «То, что мы обнаружили, выявило нарушения безопасности, быстрые кражи и широко распространенные сбои в защите данных клиентов», — написал Мур в отчете, опубликованном в четверг.

Результаты, о которых подробно сообщает Ars Technica, приходят к тому, что ИИ-маршрутизаторы — брокерские службы, такие как OpenRouter и Vercel, которые принимают запросы от конечных пользователей и направляют их к тому поставщику выводов, который дешевле или лучше всего подходит — стали базовой инфраструктурой для тысяч приложений. Они также вызвали быструю реакцию отрасли: 22 ноября OpenRouter опубликовала собственное объявление об инциденте, заявив, что отключила трех провайдеров, исключила 125 конечных точек из-под права нулевого хранения данных и уведомила потенциально затронутых клиентов.

Как работала канарейка-ловушка

Мур собрал коллекцию функционирующих ключей доступа к AWS, привязанных к пустым учетным записям, рабочим паролям SSH, а также уникальным URL-адресам, DNS-именам и ссылкам на частные репозитории git. Ни один из секретов никогда раньше не использовался, и Мур контролировал инфраструктуру на принимающей стороне. Каждый секрет был помещен ровно в одно приглашение, отправленное одному провайдеру — поэтому, если секрет позже где-либо всплывет, его путь можно будет отследить до точного звена в ответственной цепочке.

Дизайн имеет значение, поскольку экосистема ИИ на самом деле перемещает данные. Приглашения шифруются при передаче, но расшифровываются на каждом переходе. Маршрутизатор ИИ считывает открытый текст, чтобы выбрать подходящих поставщиков вывода; Затем приглашение часто перенаправляется пулу моделей, иногда работающих в разных хостинговых компаниях. Приглашения могут даже передаваться от одного маршрутизатора к другому — например, от Vercel к OpenRouter — при этом каждый посредник может регистрировать и хранить контент в соответствии со своими собственными политиками.

Три провайдера взломаны, ключи использованы в течение нескольких часов

Самый тревожный вывод касался трех отдельных хостинг-провайдеров, которые были скомпрометированы во время эксперимента. По словам Мура, злоумышленники, взломавшие одного провайдера, повторно использовали «пару сотен» подброшенных ключей AWS. Каждый ключ был отправлен ровно в одном запросе к одному провайдеру в течение нескольких коротких периодов в конце октября — и «каждый запрос, который мы отправляли в течение этих окон, был украден». Важно отметить, что некоторые украденные ключи были получены в результате запросов, которые провайдер отклонил еще до запуска модели, что указывает на то, что злоумышленник копировал трафик у входной двери провайдера, а не глубже в стеке вывода.

В двух других случаях некоторые из украденных запросов были помечены как нулевое сохранение данных. «Флаг конфиденциальности не помогает, когда злоумышленник уже внутри», — написал Мур. Стороны, стоящие за вторжениями, в некоторых случаях проверяли ключи-приманки в течение нескольких часов, рылись в корзинах S3, менеджерах секретов и хранилищах параметров в поисках дополнительных учетных данных, пытались включить размещенные модели в AWS Bedrock и добавляли своих собственных пользователей IAM для поддержания доступа. В целом украденные ключи использовались «десятки тысяч» раз в вызовах API AWS. Секреты, украденные у двух взломанных провайдеров, почти сразу же использовались вместе с одного и того же арендованного сервера — убедительное доказательство того, что один злоумышленник скомпрометировал оба.

Реселлеры, которые воруют, и лаборатория, которая скрежетает

Не каждый утечка информации был хакером. Мур задокументировал реселлеров, которые заманивали клиентов низкими ценами, включали регистрацию запросов и просто ждали. Он идентифицировал их, отправляя одинаковые запросы к одной и той же модели через разных продавцов: когда учетные данные одного продавца использовались повторно, а другого нет, виновник был ясен.

Самый очевидный случай парсинга, как пишет Мур, произошел в китайской лаборатории искусственного интеллекта, чьи системы извлекли секретные URL-адреса из более чем половины запросов, отправленных ее моделям в период с июля по октябрь, включая примерно две трети запросов с явной пометкой «без сбора данных» или «нулевое сохранение данных». Парсер обычно появлялся через два-три дня после каждого запроса. Это не ограничивалось прямыми клиентами: несколько американских хостинг-провайдеров перепродавали модели лаборатории, а запросы, отправленные через этих американских посредников, запускали тот же парсер. Другими словами, клиент, который выбрал американского провайдера специально для хранения данных в США, не получил того, за что заплатил. Кроме того, клиент git в другом облаке начал пытаться клонировать частные репозитории, указанные в подсказках, — но только для подсказок, в которых использовались модели этой лаборатории.

OpenRouter отвечает

Эксперимент быстро привел к реальным последствиям. Ars Technica сообщила в своем обновлении, что 21 ноября OpenRouter разослала клиентам электронное письмо с предупреждением о том, что некоторые из их запросов могли быть прочитаны, сославшись на исследование: потенциальное воздействие связано с запросами, отправленными MiniMax, китайскому поставщику моделей, напрямую или через трех реселлеров — AtlasCloud, Novita и StreamLake. OpenRouter удалил метку «Нулевое сохранение данных» из конечных точек модели MiniMax.

В своем официальном сообщении в блоге от 22 ноября OpenRouter подтвердил, что отключил трех провайдеров, исключил 125 конечных точек из списка участников, соответствующих критериям ZDR, и уведомил затронутых пользователей о том, разместили ли провайдеры публичное сообщение. Компания заявила, что результаты «не выявили каких-либо нарушений или несанкционированного доступа к самой OpenRouter», поблагодарила команду Dragos и заявила, что провайдерам, желающим остаться на платформе, «нужно будет соответствовать» растущим требованиям безопасности, поскольку OpenRouter интегрирует аналогичные методы тестирования.

Мур также обнаружил случайные утечки с длинным хвостом: один хостинг-провайдер в США просканировал секретный URL-адрес более чем через два месяца после единственного вызова вывода к своей конечной точке поиска, а другой запустил парсер, который возвращал данные о внедренных URL-адресах через несколько дней после каждого запроса, независимо от того, какой маршрутизатор доставил запрос.

Что могут делать пользователи

Самая эффективная защита, по словам Мура, — это размещение моделей локально — дорогостоящий вариант, который могут оправдать лишь немногие организации. Следующая лучшая мера — это покупка напрямую у поставщика первого уровня, с «одним контрактом и политикой конфиденциальности, которые нужно прочитать», а также отказ от пулов поставщиков или реселлеров по умолчанию, выбирая вышестоящих поставщиков самостоятельно. Даже в этом случае, предупредил он, нет никакой гарантии, что данные не утекут.

Этот эксперимент представляет собой самое резкое обвинение практике конфиденциальности на быстрорастущем рынке выводов: цепочка между приложением и моделью теперь может включать маршрутизаторы, реселлеров и уровни хостинга на нескольких континентах, каждый со своей собственной политикой ведения журналов, а метки, призванные успокоить клиентов (например, нулевое сохранение данных), могут быть взломаны или удалены без предварительного уведомления. Для отрасли, требующей от предприятий вставлять свои документы, коды и учетные данные в подсказки, послание двух миллионов канареек неудобно: до тех пор, пока не изменится система, предполагайте, что каждый переход может прочитать каждое слово.

Будьте впереди ИИ

Безопасность и конфиденциальность теперь являются основными проблемами для всех, кто использует ИИ. Чтобы получить последние новости об искусственном интеллекте и независимое освещение важнейших событий отрасли, посетите AI Buzz Wire.

Читать больше новостей об искусственном интеллекте →