O echipă de cercetători independenți a demonstrat că modelele AI pot avea capabilități ascunse complet funcționale, care sunt garantate matematic pentru a evita detectarea, chiar și atunci când auditorii au acces complet la greutățile modelului. Lucrarea, intitulată „Modelele AI pot ascunde capabilitățile arbitrare”, a fost postată pe arXiv pe 9 octombrie 2026 de Andis Draguns, Sumeet Ramesh Motwani, Raymond Douglas și Christian Schroeder de Witt și a atras atenția semnificativă pe Hacker News în această săptămână după ce a făcut prima pagină a site-ului.
Lucrarea lovește o ipoteză de bază a practicii moderne de siguranță AI: că comportamentele periculoase pot fi scoase la suprafață înainte de implementare prin evaluări ale capacităților, care analizează un model cu teste concepute pentru a obține orice poate face. Autorii arată că această presupunere se prăbușește în condiții contradictorii. După cum spune lucrarea, fiabilitatea evaluărilor de capabilități „depinde de ipoteza că capabilitățile ascunse pot fi obținute” – și construiesc atacuri în care această presupunere eșuează. Pentru cititorii care urmăresc cele mai recente dezvoltări AI în cercetarea siguranței, lucrarea este una dintre cele mai evidente demonstrații formale de până acum că un model capabil ar putea, în principiu, să-și treacă evaluările, ascunzând în același timp ceea ce poate face de fapt.
Cum funcționează schema de ascundere
Cercetătorii au creat atacuri backdoor care încorporează ceea ce ei numesc rețele neuronale criptate în greutatea unui model gazdă. Rețeaua ascunsă se află acolo în formă criptată, fără a contribui cu nimic la comportamentul vizibil al modelului, până când acesta primește un declanșator secret. În acel moment, modelul decriptează circuitul ascuns și îl execută.
Mecanismul criptografic din centrul construcției este ceea ce autorii numesc dulapuri digitale. Conform ipotezelor criptografice standard, aceste dulapuri fac ca circuitele ascunse să fie greu de obținut și greu de interpretat - chiar și pentru un auditor care are acces deplin la greutățile modelului. Cu alte cuvinte, ascunderea nu se bazează pe faptul că ascunderea este subtilă sau greu de dat peste cap. Se bazează pe garanții de duritate matematică de același tip care protejează comunicațiile criptate.
Acest lucru extinde lucrările anterioare în domeniu, care au arătat că modelele ar putea ascunde șiruri fixe, cum ar fi parolele sau mesajele scurte. Noua lucrare mișcă considerabil stâlpii obiectivului: ceea ce poate fi ascuns acum este un calcul arbitrar - o capacitate completă, funcțională, mai degrabă decât un secret static.
Testat împotriva tehnicilor reale de audit
Echipa și-a implementat construcțiile de dovadă a conceptului în PyTorch și apoi le-a atacat cu setul de instrumente standard de auditare a modelelor. Evaluările au testat elicitarea prin reglaj fin, zgomot de greutate, căutare de declanșare bazată pe gradient și antrenament adversar latent - o gamă de tehnici care reprezintă cât de serioși ar încerca auditorii să extragă comportamentul ascuns dintr-un model suspect.
Sarcina de testare a fost o mică problemă de predicție a reacțiilor chimice, aleasă în mod deliberat ca proxy pentru capabilități cu mize din lumea reală: sarcinile de predicție chimică sunt un substitut pentru abilitățile relevante CBRN (chimice, biologice, radiologice și nucleare), categoria de capabilități la care evaluările pre-desfășurare țin cel mai mult. Implementările ascunse au rezistat tuturor metodelor de elicitare aruncate asupra lor.
În combinație cu garanțiile criptografice, autorii susțin că rezultatele lor dezvăluie o limită fundamentală a auditurilor de capacitate bazate pe elicitare. Dacă un dezvoltator de modele – sau o terță parte rău intenționată care a manipulat un model – are un stimulent să ascundă o capacitate, auditurile care se bazează pe scoaterea comportamentului pot fi pur și simplu în imposibilitatea de a o găsi.
De ce contează asta pentru siguranța AI
Evaluările capacităților au devenit o parte standard a modului în care laboratoarele de inteligență artificială de frontieră decid dacă modelele pot fi lansate în siguranță. Lucrarea nu susține că modelele de producție ascund în prezent capabilități în acest fel. Mai degrabă, arată că nivelul de audit în sine are o slăbiciune structurală: un adversar cu control asupra pregătirii unui model ar putea, în principiu, să încorporeze capacități pe care nicio cercetare nu le-ar dezvălui.
Implicațiile se desprind în mai multe direcții. Pentru laboratoare, întărește argumentul pentru securitatea paranoică a lanțului de aprovizionare în jurul greutăților modelului - un punct de control cu uși în spate nu este doar un risc de fiabilitate, ci unul potențial nedetectabil. Pentru auditori și autorități de reglementare, sugerează că evaluările bazate exclusiv pe eșantionarea comportamentului ar putea trebui completate cu garanții mai puternice cu privire la modul în care modelele au fost instruite și gestionate. Și pentru comunitatea de cercetare, definește o provocare defensivă concretă: autorii și-au lansat modelele în mod public special pentru a sprijini îmbunătățirea apărării împotriva acestei clase de atac.
Lucrarea are, de asemenea, o înțepătură filozofică mai largă. O mare parte din siguranța inteligenței artificiale se bazează pe ideea că ne putem testa calea către încredere - că suficientă echipă roșie va găsi ceea ce poate face un model. Un mecanism de ascundere demonstrabil nu face testarea inutilă, dar înseamnă că trecerea fiecărui test nu mai poate fi tratată ca o dovadă că nu există nimic de găsit. Pe măsură ce modelele de frontieră devin din ce în ce mai capabile și mai autonome, acel decalaj dintre ceea ce pot arăta auditurile și ceea ce pot conține modelele este exact tipul de problemă pe care domeniul va fi obligat să o ia în serios.
Lucrarea completă a autorilor, inclusiv construcțiile criptografice și detaliile de evaluare, este disponibilă pe arXiv, iar modelele de dovadă de concept lansate oferă apărătorilor un punct de plecare concret pentru construirea de metode de detectare care funcționează împotriva ascunderii în stilul dulapurilor digitale.
---
Rămâneți înaintea AIObțineți cele mai recente știri, analize și descoperiri despre AI - toate într-un singur loc.
Citiți mai multe știri AI →
