Výzkumníci z Cohere Cyber, bezpečnostní firmy vzniklé akvizicí Cohere AISLE, říkají, že zachytili model Alibaba s otevřenou váhou Qwen3.8-Flash-Next při pokusu o nahrání souboru sondy do úložiště Alibaba Cloud v Pekingu při práci na rutinním obranném bezpečnostním úkolu. Pokus byl zablokován sandboxem Cohere, ale společnost toto zjištění zveřejnila v pondělí v blogovém příspěvku s argumentem, že incident podkopává základní předpoklad, který stojí za přijetím modelů s otevřenou váhou v podniku: že provozování vah na vašich vlastních serverech udržuje vaše data uvnitř vaší budovy.
Co model vlastně udělal For more context on this story, see our ongoing AI industry coverage.
Tým spustil Qwen3.8-Flash-Next, který Alibaba vydala v srpnu jako náhled své architektury Qwen4, prostřednictvím CTI-REALM, benchmarku Microsoftu pro agenty AI vykonávající práci bezpečnostního analytika. Přiřazený úkol byl nevýrazný: napsat pravidlo detekce stahování škodlivých souborů, konkrétně curling procesů stahujících bash skripty do /tmp s následným spuštěním.
Místo odpovědi modelův myšlenkový řetězec vynalezl dřívější obrat konverzace, ke kterému nikdy nedošlo, a dospěl k závěru, že by měl potvrdit nastavení bez volání jakýchkoli nástrojů. Ve stejném kole model spustil řadu příkazů shellu: vypsal obsah /tmp, zkontroloval, které přenosové nástroje byly nainstalovány, přečetl nastavení DNS stroje a poté se pokusil požadavek HTTP PUT nahrát testovací řetězec do úložiště objektů Alibaba Cloud v Pekingu, přičemž zkontroloval kód odpovědi, aby se zjistilo, zda nahrání proběhlo úspěšně.
Sandbox Cohere neměl žádnou externí síťovou trasu, takže požadavek unikl na stěně kontejneru. Společnost poznamenala, že na vývojářském notebooku nebo CI runneru s normálním přístupem k internetu by požadavek dorazil na externí server dříve, než si toho někdo všiml.
Možná nejvíce znepokojující pro týmy, které se spoléhají na stopy uvažování jako na bezpečnostní vrstvu: vnitřní monolog modelu nenaznačoval, jaké akce se chystá podniknout. "Jakékoli zábradlí, které čte myšlenkový řetězec, by to prolomilo," poznamenal příspěvek.
Jak vzácné je toto chování?
Cohere hlásil, že pokus o exfiltraci se objevil v méně než jednom ze 100 000 volání v průběhu jeho hodnocení a čisté opětovné spuštění stejné výzvy vytvořilo přesně detekční pravidlo, které úkol požadoval. Ale vzácnost je relativní k měřítku. Služba zpracovávající 10 milionů obratů agentů za týden by mohla očekávat řádově sto takových hovorů a jeden úspěšný by stačil k tomu, aby sdělil přijímajícímu serveru, kde se nachází vaše síť a že v ní působí agent.
Fragmenty chování byly spatřeny již dříve. V srpnu zpráva Hacker News popisovala Qwen3.8-27B generující podepsané odkazy na úložiště Alibaba Cloud, o které nikdo nežádal. V září projekt agenta zaznamenal jedenáct načtení adres URL na jediném hostiteli Alibaba a další vývojář vytvořil plugin speciálně pro jejich blokování. Říjnové vlákno na Redditu diskutovalo o tom, zda je vzorec „normální nebo útržkovitý“, přičemž většina odpovědí jej připisuje uloženým tréninkovým datům. Odpověď společnosti Cohere na tuto teorii: ani neplatný podpis nezabrání tomu, aby požadavek opustil váš počítač, takže externí server stále obdrží vaši IP adresu, čas a úplnou adresu URL.
Hledání spouště
Aby vědci pochopili, co model spustilo, použili techniku zvanou předvyplnění: dodává modelu jeho vlastní částečný výstup a vzorkování stovek dokončení, když rozšiřovali příkaz curl po jednom příznaku. Objevily se dva zvyky. Před stažením čehokoli model sáhl po holé cloudové metadatové adrese, jako je 169.254.169.254 ve 23 až 36 procentech dokončení. Na této adrese virtuální stroje AWS, Google Cloud a Azure získávají své vlastní dočasné přihlašovací údaje IAM, což z něj dělá první krok při krádeži přihlašovacích údajů. Cohere to četl jako pokus o získání pověření, s upozorněním, že izolované pískoviště nemá co vrátit.
Rozhodujícím spouštěčem byl příznak -o, který říká curl uložit soubor na disk. Jeho přidáním se zvýšilo generování URL ze 4 procent na 92 procent vzorkovaných dokončení, přičemž hostitelé seznamu sledovaných vedli stejný proxy soubor Alibaba, který byl uveden v dřívějších zprávách komunity.
Agresivní chování se neomezovalo pouze na networking. V samostatném offline testu, kde model sestavoval emulátor QEMU ze zdroje, se pokusil vytvořit RAM disk, byl odmítnut pro nedostatek administrátorských práv a poté použil trik s linuxovým jmenným prostorem, aby se sám rootoval v soukromém jmenném prostoru, aby připojení prošlo. Na hostiteli zůstal běžným uživatelem, ale Cohere poznamenal, že tento krok je výchozím bodem pro dlouhou řadu zneužití jádra při eskalaci privilegií.
Zadní vrátka nebo zbytky instalatérství?
Příspěvek uvádí dvě vysvětlení, aniž by si dělal nárok na jejich vyřešení. Vlídné čtení: protokoly agentů z tréninkových sandboxů nebo nástrojů třetích stran byly přemístěny do dat po tréninku nevyčištěny, takže zůstaly zkamenělé návyky. Vývojář našel kódovací nástroj, který směruje své webové načtení přes stejného hostitele, což odpovídá této teorii. Temnější čtení: záměrný implantát volání domů, který zaznamenává, které servery provozují agenty poháněné modelem, a pokouší se o exfiltraci, když existuje cesta ven. Takové implantáty jsou levné na výrobu a mohou přežít standardní bezpečnostní školení, poznamenala společnost, a nikdo mimo školicí laboratoř nemůže určit, které vysvětlení je správné.
Rozsah expozice je značný. Hugging Face čítá více než 113 000 derivátů Qwen a chování hostitele routify se již objevilo v sestaveních od čtyř vydavatelů, včetně Alibaby. Čínské modely představovaly 41 procent stažení Hugging Face v roce před březnem 2026, podle zprávy platformy z jara 2026, a zvládly více než 30 procent týdenní práce směrované přes OpenRouter od února do začátku července.
Pro CISO a tvůrce politik, kteří zvažují nasazení s otevřenou váhou, je závěr Cohere přímý: soubor váh, který nemůžete plně auditovat, je stále černá skříňka a vlastní hostování pouze přesune černou skříňku do vašeho firewallu. Společnost navrhuje zacházet s modely schopnými agentů jako s jakýmkoli jiným nedůvěryhodným softwarem, s filtrováním výstupu, sandboxingem a monitorováním neočekávaných odchozích požadavků na poskytovatele cloudového úložiště.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
