O operațiune la scară largă împotriva instalațiilor sanitare ale industriei AI a documentat ce se întâmplă cu solicitările trimise de utilizatori în fiecare zi – iar răspunsul este: se scurg. Cercetătorul de securitate HD Moore, director de cercetare al companiei de securitate industrială Dragos, a trimis furnizorilor de inteligență artificială aproape două milioane de solicitări cu secrete unice care pot fi urmărite și apoi a urmărit unde au apărut acele secrete. „Ceea ce am descoperit a dezvăluit încălcări de securitate, furt prompt și eșecuri pe scară largă în protejarea datelor clienților”, a scris Moore într-un raport publicat joi.

Descoperirile, raportate în detaliu de Ars Technica, ajung ca routere AI – servicii de broker precum OpenRouter și Vercel care acceptă solicitări de la utilizatorii finali și le direcționează către oricare furnizor de inferență este cel mai ieftin sau cel mai potrivit – au devenit infrastructura de bază pentru mii de aplicații. De asemenea, au declanșat un răspuns rapid al industriei: OpenRouter și-a publicat propriul anunț de incident pe 22 noiembrie, spunând că a retras trei furnizori, a eliminat 125 de puncte finale din eligibilitatea Zero Data Retention și a notificat clienții potențial afectați.

Cum a funcționat capcana Canary

Moore a asamblat o colecție de chei de acces AWS funcționale legate de conturi goale, parole SSH funcționale și adrese URL unice, nume DNS și referințe private la depozitul git. Niciunul dintre secrete nu mai fusese folosit până acum, iar Moore controla infrastructura la capătul receptor. Fiecare secret a fost însămânțat într-un singur prompt trimis unui singur furnizor - așa că dacă secretul a apărut mai târziu oriunde, călătoria sa ar putea fi urmărită până la veriga exactă a lanțului responsabil.

Designul contează din cauza modului în care ecosistemul AI mută de fapt datele. Solicitările sunt criptate în tranzit, dar sunt decriptate la fiecare salt. Un router AI citește textul simplu pentru a alege furnizorii de inferențe potriviți; promptul este apoi trimis adesea către un grup de modele, uneori rulând în cadrul diferitelor companii de găzduire. Solicitările pot chiar să treacă de la un router la altul — Vercel la OpenRouter, de exemplu —, fiecare intermediar fiind liber să înregistreze și să stocheze conținutul conform propriilor politici.

Trei furnizori încălcați, chei folosite în câteva ore

Cea mai alarmantă constatare a implicat trei furnizori de găzduire separați care au fost compromisi în timpul experimentului. Potrivit lui Moore, atacatorii care au încălcat un furnizor au reutilizat „câteva sute” din cheile AWS plantate. Fiecare cheie fusese trimisă într-o singură solicitare către un singur furnizor, în câteva intervale scurte la sfârșitul lunii octombrie - și „fiecare cerere pe care am trimis-o în timpul acelor ferestre a fost furată”. În mod esențial, unele chei furate proveneau de la solicitări pe care furnizorul le-a respins înainte ca un model să ruleze vreodată, indicând că atacatorul copia traficul la ușa din față a furnizorului, mai degrabă decât mai adânc în stiva de inferențe.

În celelalte două încălcări, unele dintre cererile furate au fost semnalate ca fiind zero reținere a datelor. „Un semnal de confidențialitate nu ajută când atacatorul este deja înăuntru”, a scris Moore. Părțile din spatele intruziunilor au testat cheile de momeală în câteva ore, în unele cazuri, au căutat prin găleți S3, manageri de secrete și depozite de parametri pentru mai multe acreditări, au încercat să activeze modele găzduite în AWS Bedrock și și-au adăugat propriii utilizatori IAM pentru a menține accesul. În total, cheile furate au fost folosite „de zeci de mii” de ori în apelurile AWS API. Secretele furate de la doi dintre furnizorii piratați au fost folosite împreună, aproape imediat, de pe același server închiriat - dovadă puternică că un adversar i-a compromis pe ambii.

Revânzători care fură și un laborator care zgârie

Nu orice leaker a fost un hacker. Moore a documentat revânzătorii care au atras solicitările cu prețuri mici, au activat înregistrarea cererilor și pur și simplu au așteptat. Le-a identificat prin trimiterea de cereri identice către același model prin diferiți vânzători: atunci când acreditările au fost refolosite de la un vânzător, dar nu de la altul, vinovatul era clar.

Cel mai clar caz de scraping, a scris Moore, a implicat un laborator chinez de inteligență artificială ale cărui sisteme au preluat adresele URL secrete de la mai mult de jumătate dintre solicitările trimise modelelor sale între iulie și octombrie – inclusiv aproximativ două treimi din solicitări marcate în mod explicit „fără colectare de date” sau Zero Data Retention. Screperul a apărut de obicei la două sau trei zile după fiecare solicitare. Nu s-a limitat la clienții direcți: câțiva furnizori de găzduire din SUA revind modelele laboratorului, iar solicitările trimise prin acei intermediari americani au declanșat exact același lucru. Un client care a ales un furnizor din SUA special pentru a păstra datele în statul, cu alte cuvinte, nu a primit ceea ce a plătit. Separat, un client git pe un alt cloud a început să încerce să cloneze depozitele private la care se face referire în solicitări - dar numai pentru solicitări care au folosit modelele laboratorului respectiv.

OpenRouter răspunde

Experimentul a produs rapid consecințe în lumea reală. Ars Technica a raportat într-o actualizare că OpenRouter a trimis un e-mail clienților pe 21 noiembrie avertizând că unele dintre solicitările lor ar fi putut fi citite, citând cercetarea: potențiala expunere a implicat solicitări trimise către MiniMax, un furnizor de modele din China, fie direct, fie prin intermediul a trei revânzători - AtlasCloud, Novita și StreamLake. OpenRouter a eliminat eticheta „Zero Data Retention” de la punctele finale ale modelului MiniMax.

În postarea sa oficială pe blogul din 22 noiembrie, OpenRouter a confirmat că a retras trei furnizori, a eliminat 125 de puncte finale din eligibilitatea ZDR și a notificat utilizatorii afectați dacă furnizorii au postat sau nu public. Compania a spus că descoperirile „nu au arătat nicio încălcare sau acces neautorizat la OpenRouter” în sine, a mulțumit echipei Dragos și a spus că furnizorii care doresc să rămână pe platformă „va trebui să îndeplinească” o bară de securitate în creștere, deoarece OpenRouter integrează tehnici de testare similare.

Moore a găsit, de asemenea, scurgeri rătăcite: un furnizor de găzduire din SUA a accesat cu crawlere o adresă URL secretă la mai mult de două luni după un singur apel de concluzie la punctul său final de căutare, iar altul a rulat un scraper care a revenit pentru adresele URL plantate la câteva zile după fiecare solicitare, indiferent de router care a livrat solicitarea.

Ce pot face utilizatorii

Cea mai eficientă apărare, a spus Moore, este găzduirea modelelor on-premise - o opțiune costisitoare pe care puține organizații o pot justifica. Cea mai bună măsură este să cumpărați direct de la un furnizor de prim rang, cu „un contract și o politică de confidențialitate de citit” și evitarea grupurilor implicite de furnizori sau revânzători alegând singuri furnizori din amonte. Chiar și atunci, a avertizat el, nu există nicio garanție că datele nu vor scurge.

Experimentul este cea mai ascuțită acuzare de până acum a practicilor de confidențialitate de pe piața de inferență în creștere rapidă: lanțul dintre o aplicație și un model poate implica acum routere, revânzători și straturi de găzduire pe mai multe continente, fiecare cu propriile sale politici de înregistrare, iar etichetele menite să liniștească clienții - cum ar fi Zero Data Retention - pot fi rupte sau eliminate fără notificare. Pentru o industrie care cere întreprinderilor să-și lipească documentele, codul și acreditările în prompturi, mesajul celor două milioane de canari este incomod: până când instalațiile sanitare se schimbă, presupunem că fiecare hop poate citi fiecare cuvânt.

Rămâi înaintea AI

Securitatea și confidențialitatea sunt acum preocupări de bază pentru oricine se bazează pe AI. Pentru știri de ultimă oră și acoperire independentă a celor mai mari povești din industrie, vizitați AI Buzz Wire.

Citiți mai multe știri AI →