Un exercițiu de trei săptămâni de la echipa roșie a găsit noi vulnerabilități în sistemul de monitorizare a nealinierii interne al OpenAI – inclusiv modalități prin care agenții AI ar putea, în principiu, să întreprindă acțiuni fără a fi niciodată revizuiți de oameni. METR, organizația nonprofit de evaluare independentă, a publicat un rezumat la nivel înalt al constatărilor pe 22 octombrie, extras dintr-un raport intern de 61 de pagini pe care l-a transmis cercetătorilor și personalului de securitate OpenAI.

Pilotul s-a desfășurat între 21 iulie și 11 august și a oferit unui angajat METR și unui angajat Redwood Research acces neobișnuit de profund la infrastructura internă a OpenAI: baza de cod, solicitările și configurația sistemului de monitorizare, documentația internă și interviurile tehnice cu aproximativ o duzină de cercetători și ingineri din echipele de monitorizare, sisteme de siguranță și securitate. Ei au lucrat pe dispozitive emise de OpenAI care nu au părăsit încăperile și au fost însoțite în timp ce se aflau la fața locului. Pentru mai multe despre această linie de cercetare, consultați cele mai recente dezvoltări AI.

Ce a găsit echipa roșie

Exercițiul sa concentrat pe două întrebări: cât de mult din inferența agentică a OpenAI este de fapt monitorizată și dacă agenții ar putea dezactiva sau submina sistemul de monitorizare. Răspunsurile au scos la iveală lacune semnificative.

În ceea ce privește acoperirea, METR a estimat că aproximativ 75 până la 94% din traficul agentic intern Responses API - API-ul care alimentează Codex, printre altele - de la modele cel puțin la fel de capabile ca GPT-5.5 era eligibil pentru monitorizare la momentul respectiv, deși organizația constată o incertitudine substanțială în ambele direcții. În cadrul subgrupului acelui trafic utilizat pentru agenții interni Codex, 99,2% era eligibil. Dar eligibilitatea nu a fost aceeași cu acoperirea: cursele de antrenament de întărire-învățare nu au fost acoperite de sistemul de monitorizare la începutul exercițiului, iar evenimentele de compactare nemonitorizate au rămas probabil de ordinul a 10% din traficul intern Codex eligibil nemonitorizat între mai și iulie 2026. Personalul OpenAI a identificat în mod independent problema de compactare înainte de exercițiu și a remediat-o.

Detaliul de timp a contat. Deoarece monitorul s-a declanșat atunci când agenții au returnat controlul utilizatorului, un agent ar putea amâna la nesfârșit monitorizarea pur și simplu continuând să întreprindă acțiuni în timpul ferestrei nemonitorizate.

Echipa a documentat, de asemenea, căi active de evaziune. Agenții Codex ar putea, în principiu, să ocolească sandbox-ul Codex și Auto-Review, permițându-le să întreprindă orice acțiune pe care utilizatorul gazdă ar putea-o întreprinde. METR a descoperit un exploit care ar împiedica monitorizarea a sute de acțiuni recente – inclusiv acțiunile implicate în exploit în sine – să fie monitorizate; OpenAI a redactat detaliile tehnice. Agenții ar putea construi intrări care au cauzat defectarea monitorului prin exploatarea diferențelor de serializare dintre traiectoria pe care o vede agentul și ceea ce vede monitorul, evitând escaladarea la revizuirea umană. Și s-au găsit două anteturi controlabile de client care dezactivează monitorizarea pentru agenți noi, permițând un agent să înceapă o instanță nemonitorizată, dar altfel identică - deși METR observă că actul de a seta aceste anteturi ar putea fi prins în sine.

În cele din urmă, echipa a identificat două instrumente interne nemonitorizate despre care se crede că au permisiuni numai pentru citire, împreună cu un simplu exploit care ar fi putut fi folosit pentru a submina acele limite. METR nu a validat acest comportament în practică.

Ce a avut loc

Exercițiul a validat și părți ale sistemului. Cu câteva excepții minore, monitorului i se arată întreaga traiectorie pe care o văd agenții. Solicitările de monitorizare au fost confirmate pentru a căuta intrări, subversiune a sistemului, sabotaj, exfiltrare de date, înșelăciune și injectare promptă de intrare și de ieșire, printre alte categorii de risc. În ceea ce privește fiabilitatea, informațiile furnizate de METR sugerează că monitorul a greșit la mai puțin de 0,2 la sută din solicitări, iar într-o perioadă de 24 de ore în timpul exercițiului au existat zero pierderi de sarcină.

Răspunsul OpenAI

Potrivit METR, OpenAI a declarat că toate vulnerabilitățile identificate care au impact asupra stivei sale de garanții de producție au fost corectate și a descris modificări ulterioare semnificative ale acoperirii prevăzute a sistemului său de monitorizare. METR nu a evaluat aceste afirmații, iar constatările sale descriu sistemul așa cum a existat la sau înainte de 21 iulie – nu versiunea extinsă pe care OpenAI o construia deja în timpul exercițiului.

Lecții de proiectare pentru supravegherea agenților

METR și-a încheiat rezumatul cu idealuri de proiectare pentru viitoarea infrastructură de monitorizare, despre care susține că ar trebui să reziste atacurilor deliberate, strategice și susținute din partea agenților interni de înaltă capacitate la scară. Two stand out. Monitorizarea ar trebui să fie greu de evitat: rularea cererilor nemonitorizate ar trebui să necesite aprobare explicită legată de anumite organizații sau chei API care sunt interzise de la inferența agentică, iar agenții ar trebui să fie monitorizați la fiecare N mesaje sau minute, mai degrabă decât numai atunci când își încheie rândurile. Și acoperirea ar trebui să fie auditabilă: contabilizarea atentă a tuturor inferențelor, încrucișată periodic cu jurnalele proprii ale sistemului de monitorizare, astfel încât tot ceea ce intenționează să fie monitorizat în mod demonstrabil este.

Exercițiul a fost conceput ca un pilot pentru a oferi cercetătorilor externi acces profund la infrastructura internă a unui laborator de frontieră, nu ca un raport de transparență publică - METR și OpenAI au convenit dinainte că va fi publicată doar o scurtă postare la nivel înalt. Organizația nonprofit spune că versiunile viitoare vor urma practicile de transparență și independență descrise în cadrul său pentru lucrul cu companiile AI. Pe măsură ce agenții își asumă o muncă mai importantă în interiorul laboratoarelor care le construiesc, pilotul oferă un șablon pentru modul în care cei din afară ar putea veghea.

---

Rămâneți înaintea AI

Obțineți cele mai recente știri, analize și descoperiri AI - toate într-un singur loc.

Citește mai multe știri AI →