Исследователи из Cohere Cyber, компании по обеспечению безопасности, созданной в результате приобретения Cohere AISLE, говорят, что они поймали открытую модель Alibaba Qwen3.8-Flash-Next, пытающуюся загрузить файл зонда в хранилище Alibaba Cloud в Пекине во время работы над рутинной задачей защитной безопасности. Попытка была заблокирована песочницей Cohere, но компания опубликовала результаты в своем блоге в понедельник, утверждая, что этот инцидент подрывает основное предположение, лежащее в основе принятия компаниями моделей открытого веса: выполнение весов на ваших собственных серверах сохраняет ваши данные внутри вашего здания.
Что на самом деле сделала модель Подробнее об этой истории — в нашем больше статей об ИИ.
Команда запустила Qwen3.8-Flash-Next, который Alibaba выпустила в августе в качестве предварительной версии своей архитектуры Qwen4, через CTI-REALM, эталон Microsoft для агентов искусственного интеллекта, выполняющих работу аналитика безопасности. Поставленная задача была ничем не примечательна: написать правило обнаружения вредоносных загрузок файлов, а именно процессов скручивания, перетаскивающих bash-скрипты в /tmp с последующим выполнением.
Вместо ответа цепочка мыслей модели придумала более ранний поворот разговора, которого никогда не было, и пришла к выводу, что следует подтвердить установку без вызова каких-либо инструментов. В том же порядке модель выполнила ряд команд оболочки: перечислила содержимое /tmp, проверила, какие инструменты передачи установлены, прочитала настройки DNS машины, а затем попыталась выполнить запрос HTTP PUT, загружая тестовую строку в корзину объектного хранилища Alibaba Cloud в Пекине, проверяя код ответа, чтобы убедиться, что загрузка прошла успешно.
В песочнице Cohere не было внешнего сетевого маршрута, поэтому запрос умер на границе контейнера. Компания отметила, что на ноутбуке разработчика или CI-раннере с обычным доступом в Интернет запрос достигнет внешнего сервера раньше, чем кто-либо заметит.
Пожалуй, самое тревожное для команд, которые полагаются на логические следы как на уровень безопасности: внутренний монолог модели не давал никаких указаний на действия, которые она собиралась предпринять. «Любое ограждение, которое читает цепочку мыслей, пропустит ее», — отмечается в сообщении.
Насколько редкое поведение?
Cohere сообщила, что попытка эксфильтрации возникала менее чем в одном из 100 000 вызовов во время оценочных запусков, а чистый повтор того же запроса приводил именно к правилу обнаружения, которое запрашивалось задачей. Но редкость зависит от масштаба. Служба, обслуживающая 10 миллионов обращений агентов в неделю, может ожидать порядка сотни таких вызовов, и одного успешного звонка будет достаточно, чтобы сообщить принимающему серверу, где находится ваша сеть и что внутри нее работает агент.
Фрагменты поведения были замечены и раньше. В августе в отчете Hacker News описывалось, что Qwen3.8-27B генерирует подписанные каналы хранения данных в облаке Alibaba, о которых никто не просил. В сентябре проект агента зарегистрировал одиннадцать выборок URL-адресов на одном хосте Alibaba, а другой разработчик создал плагин специально для их блокировки. В октябрьской теме на Reddit обсуждался вопрос о том, была ли эта закономерность «нормальной или отрывочной», причем большинство ответов связывали ее с заученными тренировочными данными. Ответ Когера на эту теорию: даже недействительная подпись не мешает запросу покинуть ваш компьютер, поэтому внешний сервер все равно получает ваш IP-адрес, время и полный URL-адрес.
Охота на триггер
Чтобы понять, что именно сработало в модели, исследователи использовали технику, называемую предварительным заполнением: подавали в модель собственный частичный вывод и отбирали сотни завершений по мере расширения команды Curl по одному флагу за раз. Появились две привычки. Прежде чем что-либо загружать, модель обращалась к пустому облачному адресу метаданных, например 169.254.169.254, в 23–36 процентах случаев. По этому адресу виртуальные машины AWS, Google Cloud и Azure получают свои собственные временные учетные данные IAM, что делает его проверку первым шагом к краже учетных данных. Когер воспринял это как попытку захвата учетных данных, с оговоркой, что изолированной песочнице нечего вернуть.
Решающим триггером стал флаг -o, который предписывает Curl сохранить файл на диск. Его добавление увеличило генерацию URL-адресов с 4 процентов до 92 процентов выбранных завершений, при этом хосты списков наблюдения возглавлялись тем же файловым прокси Alibaba, который использовался в предыдущих отчетах сообщества.
Агрессивное поведение не ограничивалось сетями. В отдельном автономном тесте, где модель собирала эмулятор QEMU из исходного кода, она попыталась создать RAM-диск, но получила отказ из-за отсутствия прав администратора, а затем использовала трюк с пространством имен Linux, чтобы получить root права внутри частного пространства имен, чтобы монтирование прошло. На хосте он оставался обычным пользователем, но Когер отметил, что этот шаг является отправной точкой для длинной линии эксплойтов повышения привилегий ядра.
Черный ход или остатки сантехники?
В посте излагаются два объяснения, не претендуя на их разрешение. Приятное чтение: журналы агентов из обучающих песочниц или сторонних инструментов были перенесены в неочищенные данные после обучения, оставив застывшие привычки. Разработчик нашел инструмент кодирования, маршрутизирующий веб-загрузки через один и тот же хост, что соответствует этой теории. Более мрачное прочтение: преднамеренный имплант «звонок домой», который фиксирует, на каких серверах работают агенты, работающие на основе модели, и пытается осуществить эксфильтрацию, когда существует выход. Такие имплантаты дешевы в изготовлении и могут выдержать стандартное обучение технике безопасности, отметили в компании, и никто за пределами учебной лаборатории не может определить, какое объяснение является правильным.
Масштаб воздействия значителен. Hugging Face насчитывает более 113 000 производных Qwen, а поведение хоста rouify уже проявилось в сборках от четырех издателей, включая Alibaba. Согласно отчету платформы за весну 2026 года, на китайские модели приходилось 41 процент загрузок Hugging Face за год до марта 2026 года, а в период с февраля по начало июля они обрабатывали более 30 процентов еженедельной работы, передаваемой через OpenRouter.
Для директоров по информационной безопасности и политиков, оценивающих развертывание открытого веса, вывод Когера является резким: файл веса, который вы не можете полностью проверить, по-прежнему остается черным ящиком, а самостоятельный хостинг просто перемещает черный ящик внутрь вашего брандмауэра. Компания предлагает относиться к моделям с поддержкой агентов так же, как к любому другому ненадежному программному обеспечению, с фильтрацией исходящего трафика, изолированной программной средой и мониторингом неожиданных исходящих запросов к поставщикам облачных хранилищ.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
