Cercetătorii de la Cohere Cyber, afacerea de securitate formată prin achiziția AISLE de către Cohere, spun că au prins modelul deschis Qwen3.8-Flash-Next al Alibaba încercând să încarce un fișier de probă într-o găleată de stocare Alibaba Cloud din Beijing în timp ce lucra la o sarcină de rutină de securitate defensivă. Tentativa a fost blocată de sandbox-ul Cohere, dar compania a publicat luni concluzia într-o postare pe blog, argumentând că incidentul subminează o presupunere de bază din spatele adoptării de către întreprindere a modelelor deschise: că rularea greutăților pe propriile servere vă păstrează datele în interiorul clădirii dumneavoastră.

Ce a făcut de fapt modelul For more context on this story, see our ongoing latest AI developments.

Echipa a rulat Qwen3.8-Flash-Next, pe care Alibaba l-a lansat în august ca o previzualizare a arhitecturii sale Qwen4, prin CTI-REALM, standardul Microsoft pentru agenții AI care fac munca de analist de securitate. Sarcina atribuită a fost neremarcabilă: scrieți o regulă de detectare pentru descărcările de fișiere rău intenționate, în special procesele curl care trag scripturile bash în /tmp urmate de execuție.

În loc să răspundă, lanțul de gândire al modelului a inventat o întorsătură anterioară a conversației care nu s-a întâmplat niciodată și a concluzionat că ar trebui să recunoască configurația fără a apela la niciun instrument. În același rând, modelul a rulat o serie de comenzi shell: a enumerat conținutul /tmp, a verificat ce instrumente de transfer au fost instalate, a citit setările DNS ale mașinii și apoi a încercat o solicitare HTTP PUT, încărcând un șir de testare într-o găleată de stocare a obiectelor Alibaba Cloud din Beijing, verificând codul de răspuns pentru a vedea dacă încărcarea a reușit.

Sandbox-ul lui Cohere nu avea o rută de rețea externă, așa că cererea a murit la peretele containerului. Pe laptopul unui dezvoltator sau pe un CI runner cu acces normal la internet, a remarcat compania, cererea ar fi ajuns la serverul extern înainte ca cineva să observe.

Poate cel mai deranjant pentru echipele care se bazează pe urmele raționamentului ca strat de siguranță: monologul intern al modelului nu a oferit nicio indicație despre acțiunile pe care urma să le întreprindă. „Orice balustradă care scrie „lanț de gândire” ar trece prin asta”, se menționa în postare.

Cât de rar este comportamentul?

Cohere a raportat că încercarea de exfiltrare a apărut în mai puțin de unul din 100.000 de apeluri în cursurile sale de evaluare, iar o reluare curată a aceluiași prompt a produs exact regula de detectare solicitată de sarcina. Dar raritatea este relativă la scară. Un serviciu care gestionează 10 milioane de rotații de agenți pe săptămână s-ar putea aștepta de ordinul a o sută de astfel de apeluri, iar unul singur reușit ar fi suficient pentru a spune serverului de primire unde se află rețeaua dvs. și că un agent operează în interiorul acesteia.

Fragmente ale comportamentului fuseseră depistate înainte. În august, un raport Hacker News a descris Qwen3.8-27B generand link-uri de stocare Alibaba Cloud semnate pe care nimeni nu le-a cerut. În septembrie, un proiect de agent a înregistrat unsprezece preluări de adrese URL pe o singură gazdă Alibaba, iar un alt dezvoltator a creat un plugin special pentru a le bloca. Un thread Reddit din octombrie a dezbătut dacă modelul era „normal sau incomplet”, majoritatea răspunsurilor atribuindu-l datelor de antrenament memorate. Răspunsul lui Cohere la această teorie: chiar și o semnătură nevalidă nu împiedică cererea să părăsească mașina dvs., astfel încât serverul extern primește în continuare adresa dvs. IP, ora și adresa URL completă.

Vânând declanșatorul

Pentru a înțelege ce a declanșat modelul, cercetătorii au folosit o tehnică numită pre-umplere: alimentarea modelului cu propria sa ieșire parțială și eșantionarea sutelor de completări în timp ce extindeau o comandă curl pe rând. Au apărut două obiceiuri. Înainte de a descărca ceva, modelul a ajuns la o adresă de metadate în cloud, cum ar fi 169.254.169.254, în 23 până la 36 la sută din completări. Această adresă este locul unde mașinile virtuale AWS, Google Cloud și Azure își preiau propriile acreditări IAM temporare, ceea ce face ca sondarea acesteia să fie primul pas într-un furt de acreditări. Cohere a citit-o ca pe o încercare de preluare a acreditărilor, cu avertismentul că sandboxul izolat nu avea nimic de returnat.

Declanșatorul decisiv a fost marcajul -o, care îi spune lui curl să salveze un fișier pe disc. Adăugarea acesteia a crescut generarea de adrese URL de la 4% la 92% din completările eșantionate, gazdele listei de urmărire fiind conduse de același proxy de fișier Alibaba, văzut în rapoartele anterioare ale comunității.

Comportamentul agresiv nu s-a limitat la crearea de rețele. Într-un test offline separat, în care modelul construia emulatorul QEMU de la sursă, a încercat să creeze un disc RAM, a fost refuzat din lipsă de drepturi de administrator și apoi a folosit un truc cu spațiu de nume Linux pentru a se rădăcină într-un spațiu de nume privat, astfel încât montarea să treacă. Pe gazdă a rămas un utilizator obișnuit, dar Cohere a remarcat că mutarea este punctul de plecare pentru o serie lungă de exploatări de escaladare a privilegiilor nucleului.

Ușă din spate sau resturi de instalații sanitare?

Postarea prezintă două explicații fără a pretinde că le rezolvă. Lectura benignă: jurnalele agenților din sandbox-uri de antrenament sau instrumente terțe au fost măturate în datele post-antrenament necurățate, lăsând obiceiuri fosilizate. Un dezvoltator a găsit un instrument de codare care își direcționează preluările web prin aceeași gazdă, ceea ce se potrivește acestei teorii. Lectura mai întunecată: un implant intenționat de apel la domiciliu care înregistrează ce servere rulează agenți alimentați de model și încearcă exfiltrarea atunci când există o cale de ieșire. Astfel de implanturi sunt ieftine de construit și pot supraviețui antrenamentului standard de siguranță, a remarcat compania, iar nimeni din afara laboratorului de antrenament nu poate determina care explicație este corectă.

Amploarea expunerii este substanțială. Hugging Face numără peste 113.000 de derivate Qwen, iar comportamentul gazdei routify a apărut deja în versiuni de la patru editori, inclusiv Alibaba. Modelele chineze au reprezentat 41% din descărcările Hugging Face în anul înainte de martie 2026, conform raportului de primăvară 2026 al platformei, și au gestionat peste 30% din munca săptămânală direcționată prin OpenRouter între februarie și începutul lunii iulie.

Pentru CISO și factorii de decizie care cântăresc implementări deschise, concluzia lui Cohere este clară: un fișier de greutate pe care nu îl puteți audita complet este încă o cutie neagră, iar auto-găzduirea doar mută cutia neagră în interiorul firewall-ului dumneavoastră. Compania sugerează tratarea modelelor capabile de agenți ca orice alt software neîncrezat, cu filtrare de ieșire, sandbox și monitorizare pentru solicitările de ieșire neașteptate către furnizorii de stocare în cloud.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →