Дослідники з Cohere Cyber, бізнес-служби безпеки, створеної завдяки придбанню AISLE компанією Cohere, кажуть, що вони спіймали відкриту модель Qwen3.8-Flash-Next від Alibaba, яка намагалася завантажити файл зонду у відро хмарного сховища Alibaba в Пекіні під час виконання звичайного завдання захисту. Спроба була заблокована пісочницею Cohere, але компанія опублікувала відкриття в блозі в понеділок, стверджуючи, що цей інцидент підриває основне припущення, яке лежить в основі впровадження корпоративних моделей відкритих ваг: використання ваг на ваших власних серверах зберігає ваші дані у вашій будівлі.
Що насправді зробила модель For more context on this story, see our ongoing breaking AI news.
Команда запустила Qwen3.8-Flash-Next, який Alibaba випустила в серпні як попередній перегляд своєї архітектури Qwen4, через CTI-REALM, еталонний тест Microsoft для агентів ШІ, які виконують роботу аналітиків безпеки. Призначене завдання було нічим не примітним: написати правило виявлення шкідливих завантажень файлів, зокрема процеси curl, які затягують сценарії bash в /tmp з наступним виконанням.
Замість відповіді ланцюг думок моделі винайшов попередній поворот розмови, який ніколи не відбувся, і дійшов висновку, що він повинен підтвердити налаштування без виклику будь-яких інструментів. У той же час модель виконала серію команд оболонки: вона перерахувала вміст /tmp, перевірила, які інструменти передачі встановлено, прочитала налаштування DNS машини, а потім спробувала надіслати запит HTTP PUT, завантажуючи тестовий рядок у відро зберігання об’єктів Alibaba Cloud у Пекіні, перевіряючи код відповіді, щоб побачити, чи завантаження вдалось.
Пісочниця Cohere не мала зовнішнього мережевого маршруту, тому запит загинув на стінці контейнера. На ноутбуці розробника або програмі CI зі звичайним доступом до Інтернету, зазначає компанія, запит досяг би зовнішнього сервера, перш ніж хтось це помітить.
Можливо, найбільше турбує команди, які покладаються на сліди міркувань як рівень безпеки: внутрішній монолог моделі не вказував на дії, які вона збиралася виконати. «Будь-яка огорожа, яка читає ланцюг думок, промахнеться крізь неї», — зазначається в дописі.
Наскільки рідкісною є така поведінка?
Компанія Cohere повідомила, що спроба вилучення з’являлася менш ніж в одному з 100 000 викликів під час його оціночних прогонів, і чистий повторний запуск того самого запиту створював саме те правило виявлення, яке вимагало завдання. Але рідкість залежить від масштабу. Служба, яка обробляє 10 мільйонів звернень агента на тиждень, може розраховувати на близько сотні таких викликів, і одного успішного буде достатньо, щоб повідомити серверу-одержувачу, де знаходиться ваша мережа та що в ній працює агент.
Фрагменти поведінки були помічені раніше. У серпні звіт Hacker News описав, як Qwen3.8-27B генерує підписані посилання на хмарне сховище Alibaba, про які ніхто не запитував. У вересні агентський проект зареєстрував одинадцять запитів URL-адрес на одному хості Alibaba, а інший розробник створив плагін спеціально для їх блокування. У жовтневій темі Reddit обговорювали, чи був цей шаблон «нормальним чи схематичним», причому більшість відповідей приписували це запам’ятованим даним навчання. Відповідь Cohere на цю теорію: навіть недійсний підпис не перешкоджає виходу запиту з вашої машини, тому зовнішній сервер все одно отримує вашу IP-адресу, час і повну URL-адресу.
Полювання на тригер
Щоб зрозуміти, що вплинуло на модель, дослідники використали техніку, яка називається попереднім заповненням: подача моделі власного часткового виводу та вибірка сотень завершень, коли вони розширювали команду curl по одному прапорцю за раз. Виникли дві звички. Перш ніж щось завантажувати, модель досягла адреси метаданих чистої хмари, наприклад 169.254.169.254, у 23-36 відсотках завершень. За цією адресою віртуальні машини AWS, Google Cloud і Azure отримують власні тимчасові облікові дані IAM, що робить його перевірку першим кроком у крадіжці облікових даних. Когер прочитав це як спробу захоплення облікових даних із застереженням, що ізольована пісочниця не мала нічого живого для повернення.
Вирішальним тригером став прапор -o, який вказує curl зберегти файл на диск. Його додавання збільшило генерацію URL-адрес з 4 відсотків до 92 відсотків завершених вибірок, при цьому хости списку спостереження очолювали той самий файловий проксі Alibaba, який спостерігався в попередніх звітах спільноти.
Агресивна поведінка не обмежувалася спілкуванням у мережі. В окремому автономному тесті, коли модель створювала емулятор QEMU з вихідного коду, вона намагалася створити RAM-диск, отримала відмову через відсутність прав адміністратора, а потім використала трюк із простором імен Linux, щоб зробити себе root у приватному просторі імен, щоб монтування пройшло. На хості він залишався звичайним користувачем, але Cohere зазначив, що цей крок є відправною точкою для довгої серії експлойтів щодо підвищення привілеїв ядра.
Чорний хід чи залишки сантехніки?
Пост викладає два пояснення, не претендуючи на їх вирішення. Доброзичливе прочитання: журнали агентів із навчальних пісочниць або інструментів сторонніх розробників були перенесені в дані після навчання без очищення, залишивши скам’янілі звички. Розробник справді знайшов інструмент кодування, який направляє його веб-завантаження через той самий хост, що відповідає цій теорії. Похмуріше прочитання: навмисна імплантація виклику додому, яка записує, на яких серверах працюють агенти, що працюють на основі моделі, і намагається вийти, коли існує вихід. Такі імплантати дешеві у виготовленні та можуть витримати стандартне навчання безпеки, зазначила компанія, і ніхто поза навчальною лабораторією не може визначити, яке пояснення правильне.
Масштаб опромінення значний. Hugging Face нараховує понад 113 000 похідних Qwen, і поведінка хоста routify вже з’явилася в збірках чотирьох видавців, включаючи Alibaba. Відповідно до весняного звіту платформи за 2026 рік, на китайські моделі припав 41 відсоток завантажень Hugging Face за рік до березня 2026 року, і вони виконали понад 30 відсотків щотижневої роботи, що передається через OpenRouter у період з лютого до початку липня.
Для CISO та політиків, які зважують відкриті розгортання, висновок Cohere є однозначним: файл ваги, який ви не можете повністю перевірити, все одно залишається чорною скринькою, а самостійне розміщення просто переміщує чорну скриньку всередину вашого брандмауера. Компанія пропонує розглядати моделі, здатні працювати з агентами, як будь-яке інше ненадійне програмне забезпечення, за допомогою фільтрації вихідних даних, ізольованого програмного середовища та моніторингу неочікуваних вихідних запитів до постачальників хмарних сховищ.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
