Un cercetător în domeniul securității promovează un model AI deschis pentru mai puțin de 100 USD, expunând riscul lanțului de aprovizionare cu AI

Un cercetător în domeniul securității cibernetice a demonstrat că un model AI deschis poate fi închis în liniște pentru mai puțin de 100 USD și în aproximativ o oră, expunând ceea ce avertizează experții este un punct orb tot mai mare în lanțul de aprovizionare AI. Experimentul, raportat de The Register pe 16 iulie 2026, subliniază modul în care platformele care distribuie greutăți de model descărcabile - cum ar fi Hugging Face, care găzduiește sute de mii de depozite începând cu 2026 - au devenit o țintă atractivă și în mare parte necontrolată pentru atacatori.

Descoperirile ajung pe măsură ce cea mai recentă acoperire a industriei AI urmărește o trecere rapidă de la experimentare la implementarea în producție a modelelor deschise pe hardware local, ridicând miza pentru orice vulnerabilitate care se strecoară în greutățile în sine.

O ușă din spate în mai puțin de o oră

Katie Paxton-Fear, lector în securitate cibernetică la Universitatea Metropolitană din Manchester și avocat al securității personalului la firma de testare Semgrep, a spus că și-a propus să vadă dacă ar putea folosi reglajul pentru a schimba subtil comportamentul unui model. Ea a încercat mai întâi să antreneze un model pentru a schimba convenția de denumire camelCase a JavaScript cu snake_case - și a reușit cu ușurință, chiar și după ce a instruit în mod explicit AI să rămână cu camelCase.

„După ce a funcționat, am făcut o ușă din spate adecvată”, a scris Paxton-Fear într-o postare pe rețelele sociale în care descrie munca.

Rezultatul a fost mai alarmant decât trucul convenției de numire. Paxton-Fear a spus că au fost necesare doar aproximativ zece exemple de antrenament pentru ca codul generat de model să devină vulnerabil în mod fiabil la executarea codului de la distanță - o clasă de defecte care permite atacatorului să execute comenzi arbitrare pe mașina unei victime. În mod critic, comportamentul rău intenționat avut chiar și pentru solicitări și coduri noi în domeniile pe care modelul nu a fost antrenat în mod explicit să le saboteze. Și cu cât modelul era mai mare, a descoperit ea, cu atât era mai ușor să otrăvească.

„Aproape nicio capacitate de a-și prezice comportamentul”

Paxton-Fear și colegii săi din Semgrep Isaac Evans și Cris Thomas au susținut într-o postare de săptămâna trecută că problema principală este una a observabilității. Software-ul tradițional, chiar și în formă binară compilată, poate fi proiectat invers și inspectat pentru logică rău intenționată. Greutățile rețelei neuronale nu pot.

„Chiar și atunci când greutățile modelului sunt publice („greutate deschisă”), aproape că nu avem capacitatea de a prezice comportamentul acestuia”, au scris ei. „Aceasta este o schimbare majoră: un program de calculator tipic, în formă binară, poate fi încă analizat cu instrumente de inginerie inversă pentru a ajunge la o descriere totală a comportamentului său. Cu modele, nu avem nicio măsură aproape de această capacitate”.

Acest decalaj, au spus ei, este ceea ce face ca lanțul de aprovizionare cu inteligență artificială să fie într-un fel mai periculos decât lanțul tradițional de aprovizionare cu software, care a dat naștere unor incidente importante, cum ar fi încălcarea SolarWinds. „Dacă o dependență de software conține cod rău intenționat, avem practici mature pentru a o descoperi, a urmări proveniența și a reduce impactul acesteia”, a argumentat echipa Semgrep. „Modelele de inteligență artificială sunt diferite. Un model compromis sau manipulat subtil nu trebuie să se „rupă” pentru a crea riscuri de afaceri; trebuie doar să influențeze deciziile în moduri greu de detectat.”

Furtul de date se ascunde în interiorul greutăților

O demonstrație separată raportată în aceeași piesă Register arată cum un model otrăvit poate întoarce instrumentele pe care le oferă împotriva utilizatorului său. Luna trecută, David Kaplan, responsabil de cercetare în domeniul securității AI la compania Origin, a construit un model compromis conceput pentru a fura date. Într-un scenariu care imita utilizarea sa în interiorul unei companii farmaceutice pentru descoperirea medicamentelor, modelul a fost conceput pentru a exfiltra informații sensibile printr-un apel de instrument „send_email”, fără nicio indicație vizibilă pentru persoana care îl conduce.

Kaplan a încadrat riscul în raport cu un model de amenințare AI, larg citat, inventat de dezvoltatorul Simon Willison, cunoscut sub numele de „trifecta letală”, care susține că un agent devine periculos atunci când are acces simultan la date private, procesează intrări neîncrezătoare și are un canal de ieșire.

„Dar acest caz este mai mic”, a scris Kaplan. "Nu aveți nevoie de trei picioare aici. Aveți nevoie de un instrument de ieșire și de un set de greutăți care au hotărât în ​​liniște să le folosească împotriva dvs. "Intrarea neîncrezătoare" nu a ajuns pe o pagină web. A stat în greutăți tot timpul."

O suprafață de atac în curs de maturizare

Cercetătorii academicieni au avertizat de ani de zile cu privire la subversia modelelor, dar comunitatea de securitate și-a concentrat abia recent atenția asupra problemei, pe măsură ce atacurile din lumea reală a lanțului de aprovizionare AI au început să apară. The Register a remarcat că amenințarea este deosebit de presantă acum că rularea modelelor deschise pe hardware local a depășit experimentarea hobbyist în conductele întreprinderilor.

Avertismentele nu sunt pur teoretice. Cercetări separate din industrie au documentat activități rău intenționate pe platformele de distribuție AI. Acronis Threat Research Unit, de exemplu, a identificat campanii în sălbăticie care abuzează de hub-uri precum Hugging Face pentru a furniza malware deghizat în modele, seturi de date și extensii de agenți - atacuri care exploatează încrederea în ecosistemele AI, mai degrabă decât orice defecțiune unică a software-ului.

Convergența acestor descoperiri pictează o imagine a unei suprafețe de atac care se extinde mai repede decât apărarea împotriva acesteia. Modelele deschise comercializează transparența pentru un alt tip de opacitate: oricine poate descărca greutățile, dar nimeni nu poate inspecta pe deplin ce vor face acele greutăți. Și pentru că reglarea fină a unei uși din spate este ieftină și rapidă, un atacator hotărât nu trebuie să compromită un model emblematic celebru pentru a provoca rău - doar unul de încredere suficient pentru a fi atras într-un mediu de producție.

Pentru organizații, susțin cercetătorii Semgrep, lecția nu este de a abandona modelele deschise, ci de a le trata cu același control al provenienței aplicat mult timp dependențelor de software: verificați sursa, urmăriți descendența și presupuneți că ceea ce nu poate fi inspectat poate fi încă ostil.

Rămâi înaintea AI

Pentru mai multe rapoarte despre securitatea AI, siguranța modelelor și companiile care modelează domeniul, urmăriți știrile de ultimă oră AI.

Citiți mai multe știri AI →