OpenAI a publicat joi cel mai detaliat relatare de până acum despre modul în care detectează și întrerupe „distilarea adversară” – utilizarea neautorizată a rezultatelor unui model de frontieră pentru a antrena un sistem concurent – și, conform mai multor rapoarte, a început să solicite gateway-urilor și revânzătorilor terți să obțină aprobarea înainte de a oferi acces direct la modelele sale.
Mișcările, descrise într-o postare pe blog OpenAI intitulată „Combaterea distilației adverse” și acoperite de Semafor și eWeek, marchează o înăsprire semnificativă a modului în care compania controlează cine poate redistribui capacitățile modelelor sale - o schimbare cu consecințe reale pentru dezvoltatori, startup-uri și întreprinderi care accesează sistemele OpenAI prin intermediari.
De ce OpenAI tratează distilarea ca pe o problemă de siguranță
Distilarea este o tehnică standard de învățare automată în care un model învață din rezultatele altuia. În sine, notează OpenAI, nu este nici ilicit, nici neobișnuit. Preocuparea companiei este ceea ce numește distilare contradictorie: un actor care folosește rezultatele unui model de frontieră fără autorizație pentru a antrena un alt model cu capacități similare, apoi îl implementează fără garanții comparabile.
În postarea pe blog, OpenAI susține că riscul este cel mai clar în domenii cu dublă utilizare, cum ar fi securitatea cibernetică și biologia. Un model care îi ajută pe apărători să găsească vulnerabilități software ar putea, odată ce abilitățile sale sunt transferate într-un sistem cu balustrade mai slabe, să ajute un atacator să le exploateze. „Un adversar ar putea distila capacitățile cibernetice ale unui model și ar putea folosi modelul rezultat pentru a ajuta la realizarea unor atacuri cibernetice cu care modelul original ar fi refuzat să le ajute”, a scris compania.
Protejarea lanțului-gândirii
În centrul apărării OpenAI se află ceea ce numește raționament protejat: pașii intermediari - lanțul de gândire - un model generează intern în timp ce lucrează la un răspuns. Aceste urme, explică compania, pot conține informații pe care răspunsul final o lasă afară, făcându-le deosebit de valoroase ca date de antrenament pentru modelul altui laborator.
OpenAI spune că și-a întărit apărarea împotriva extragerii urmelor de raționament în GPT-6.2 Astra și GPT-6.2 Sol. Într-o evaluare adaptivă internă care utilizează echiparea roșie automată, compania a raportat că rata medie de succes a atacurilor pentru recuperarea raționamentului protejat a scăzut de la 54,0% față de GPT-6 Astra cu garanțiile sale originale la 0,2% față de GPT-6.2 Astra cu protecțiile actualizate.
Ce a descoperit studiul său cibernetic intern
Compania a împărtășit și rezultatele unui studiu intern despre modul în care se transferă capacitățile cibernetice în timpul distilării. Modelele elevilor au fost reglate fin pe traiectorii produse de modele de profesori care lucrează la codificare și sarcini defensive de securitate cibernetică. Elevii instruiți pe urme exacte de raționament au depășit, în general, elevii instruiți doar pe rezumate de raționament, atât după reglajul fin supravegheat, cât și – la cele mai mari bugete de inferență testate – după o nouă rundă de învățare de întărire, conform benchmark-urilor afișate de OpenAI alături de postare.
Implicația este îngrijorătoare pentru oricine speră că transferul de capacități poate fi limitat prin publicarea rezultatelor igienizate: chiar și interacțiunile permise în cadrul politicilor de utilizare pot, în ansamblu, să predea unui elev abilități model care se generalizează dincolo de sarcinile îndeplinite inițial de profesor.
Gateway-urile și revânzătorii au nevoie acum de aprobare
Măsurile tehnice vin alături de o schimbare de politică. Începând de joi, OpenAI va avea nevoie de routere și gateway-uri model AI care oferă terților acces direct la modelele sale pentru a obține aprobarea prealabilă, a raportat eWeek. Cerința se bazează pe un anunț pe care compania l-a făcut în octombrie, prin care se stabilește cum ar trebui să se aplice protecțiile de siguranță atunci când clienții își accesează modelele direct sau prin intermediul partenerilor și revânzătorilor de găzduire.
Conform rezumatului eWeek al acestui cadru, se așteaptă ca serviciile participante să mențină standarde comparabile, astfel încât utilizatorii să nu poată schimba pur și simplu furnizorii pentru a evita restricțiile. Măsurile se întind pe trei etape: evaluări ale riscurilor și testare împotriva încercărilor de ocolire a măsurilor de salvgardare înainte de implementare; monitorizarea în timpul utilizării, cu partenerii care se așteaptă să investigheze activitățile suspecte; și măsuri de executare după ce au loc încălcări. Semafor a caracterizat schimbarea ca OpenAI și-a strâns controlul asupra unui ecosistem de reseller care a crescut rapid în jurul API-ului său.
Ce înseamnă pentru dezvoltatori
Pentru dezvoltatori, efectul practic este o nouă întrebare de conformitate pe care trebuie să o adăugați la due diligence a furnizorului: dacă un intermediar care oferă modele OpenAI este de fapt autorizat să facă acest lucru. Companiile care direcționează traficul prin agregatori ar trebui să confirme starea de aprobare a furnizorului lor și modul în care acesta gestionează acreditările și datele, a recomandat eWeek.
Pentru industria mai largă, anunțul este un semnal că furnizorii de modele văd din ce în ce mai mult controlul capabilităților derivate – nu doar modelele în sine – ca fiind perimetrul care contează. Litigiile legate de distilare au izbucnit în domeniu în ultimii ani, iar OpenAI își încadrează acum răspunsul nu ca o dispută de licență, ci ca o cerință de siguranță, aliniind apărarea împotriva distilarii cu controalele pe care le aplică riscurilor de biologie și securitate cibernetică.
Drumul de urmat
OpenAI spune că va continua să studieze cât de multe capacități se transferă între diferite modele de studenți și rețete de distilare și invită alte laboratoare să își dezvolte activitatea de detectare și aplicare. Dacă rivalii adoptă regimuri comparabile de aprobare a gateway-urilor – și dacă utilizatorii acceptă frecarea adăugată – va ajuta la determinarea modului în care este construită următoarea generație de sisteme AI și cine are voie să le construiască.
Rămâi înaintea curbei
Doriți cele mai noi știri despre modele AI, siguranță și politici, așa cum se întâmplă? Urmăriți știrile de ultimă oră AI pe AI Buzz Wire.
Citiți mai multe știri AI →