Un esercizio di tre settimane del team rosso ha rilevato nuove vulnerabilità nel sistema di monitoraggio del disallineamento interno di OpenAI, compresi i modi in cui gli agenti IA potrebbero, in linea di principio, intraprendere azioni senza mai essere esaminati dagli esseri umani. METR, l'organizzazione no-profit indipendente di valutazione, ha pubblicato il 22 ottobre un riepilogo di alto livello dei risultati, tratto da un rapporto interno di 61 pagine consegnato ai ricercatori e al personale di sicurezza di OpenAI.

Il progetto pilota si è svolto dal 21 luglio all'11 agosto e ha concesso a un dipendente di METR e a un dipendente di Redwood Research un accesso insolitamente approfondito all'infrastruttura interna di OpenAI: la base di codice, i suggerimenti e la configurazione del sistema di monitoraggio, la documentazione interna e le interviste tecniche con circa una dozzina di ricercatori e ingegneri del monitoraggio, dei sistemi di sicurezza e dei team di sicurezza. Hanno lavorato su dispositivi forniti da OpenAI che non hanno mai lasciato la sede e sono stati accompagnati sul posto. Per ulteriori informazioni su questa linea di ricerca, consulta i nostri ultimi sviluppi dell'intelligenza artificiale.

Cosa ha trovato la squadra rossa

L'esercizio si è concentrato su due domande: quanta parte dell'inferenza degli agenti di OpenAI viene effettivamente monitorata e se gli agenti potrebbero disabilitare o sovvertire il sistema di monitoraggio. Le risposte hanno rivelato lacune significative.

Per quanto riguarda la copertura, METR ha stimato che all’epoca circa il 75-94% del traffico API di risposta interna dell’agente – l’API che alimenta Codex, tra le altre cose – proveniente da modelli con capacità almeno pari a GPT-5.5 era idoneo al monitoraggio, sebbene l’organizzazione noti una sostanziale incertezza in entrambe le direzioni. All'interno del sottoinsieme del traffico utilizzato per gli agenti interni del Codex, il 99,2% era idoneo. Ma l’ammissibilità non equivaleva alla copertura: i percorsi di formazione con apprendimento per rinforzo non erano coperti dal sistema di monitoraggio all’inizio dell’esercizio, e gli eventi di compattazione non monitorati probabilmente hanno lasciato non monitorato circa il 10% del traffico interno idoneo del Codex tra maggio e luglio 2026. Il personale di OpenAI aveva identificato in modo indipendente il problema di compattazione prima dell’esercizio e lo aveva risolto mentre era in corso.

Il dettaglio della tempistica contava. Poiché il monitoraggio si attivava quando gli agenti restituivano il controllo all'utente, un agente poteva posticipare indefinitamente il monitoraggio semplicemente continuando a eseguire azioni durante la finestra non monitorata.

Il team ha inoltre documentato percorsi di evasione attivi. Gli agenti del Codex potrebbero in linea di principio aggirare il sandboxing del Codex e la revisione automatica, consentendo loro di intraprendere qualsiasi azione che l'utente host potrebbe intraprendere. METR ha scoperto un exploit che impedirebbe il monitoraggio di centinaia di azioni recenti, comprese le azioni coinvolte nell'exploit stesso; OpenAI ha redatto i dettagli tecnici. Gli agenti potrebbero probabilmente creare input che causano il malfunzionamento del monitor sfruttando le differenze di serializzazione tra la traiettoria vista dall'agente e ciò che vede il monitor, evitando il passaggio alla revisione umana. Inoltre, sono state trovate due intestazioni controllabili dal client che disabilitano il monitoraggio per i nuovi agenti, consentendo potenzialmente a un agente di avviare un'istanza non monitorata ma per il resto identica, anche se METR nota che l'atto di impostare tali intestazioni potrebbe essere esso stesso catturato.

Infine, il team ha identificato due strumenti di agenti interni non monitorati che si ritiene abbiano autorizzazioni di sola lettura, insieme a un semplice exploit che avrebbe potuto essere utilizzato per sovvertire tali limiti. METR non ha convalidato tale comportamento nella pratica.

Cosa ha resistito

L'esercizio ha inoltre convalidato parti del sistema. Con poche eccezioni minori, al monitor viene mostrata la traiettoria completa vista dagli agenti. È stato confermato che i suggerimenti di monitoraggio ricercano intrighi, sovversione del sistema, sabotaggio, esfiltrazione di dati, inganno e iniezione tempestiva in entrata e in uscita, tra le altre categorie di rischio. Per quanto riguarda l'affidabilità, le informazioni fornite al METR suggerivano che il monitor presentasse errori in meno dello 0,2% delle richieste e in un periodo di 24 ore durante l'esercizio non si sono verificate perdite di carico.

Risposta di OpenAI

Secondo METR, OpenAI ha dichiarato che tutte le vulnerabilità identificate che incidono sul suo stack di garanzie di produzione sono state corrette e ha descritto modifiche successive significative alla copertura prevista del suo sistema di monitoraggio. METR non ha valutato tali affermazioni e i suoi risultati descrivono il sistema così come esisteva prima del 21 luglio, non la versione ampliata che OpenAI stava già costruendo durante l'esercitazione.

Lezioni di progettazione per la supervisione degli agenti

METR ha chiuso la sua sintesi con ideali di progettazione per le future infrastrutture di monitoraggio, che secondo lui dovrebbero resistere ad attacchi deliberati, strategici e prolungati da parte di agenti interni altamente capaci su larga scala. Due si distinguono. Il monitoraggio dovrebbe essere difficile da evitare: l’esecuzione di richieste non monitorate dovrebbe richiedere l’approvazione esplicita legata a organizzazioni specifiche o chiavi API escluse dall’inferenza degli agenti, e gli agenti dovrebbero essere monitorati ogni N messaggi o minuti anziché solo quando finiscono il loro turno. E la copertura dovrebbe essere verificabile: un'attenta contabilità di tutte le inferenze, periodicamente confrontata con i registri del sistema di monitoraggio, in modo che tutto ciò che si intende monitorare lo sia in modo dimostrabile.

L'esercizio è stato concepito come un progetto pilota per fornire ai ricercatori esterni un accesso approfondito all'infrastruttura interna di un laboratorio di frontiera, non come un rapporto sulla trasparenza pubblica: METR e OpenAI hanno concordato in anticipo che sarebbe stato pubblicato solo un breve post di alto livello. L’organizzazione no-profit afferma che le versioni future seguiranno le pratiche di trasparenza e indipendenza descritte nel suo quadro per lavorare con le società di intelligenza artificiale. Man mano che gli agenti intraprendono lavori più importanti all’interno dei laboratori che li costruiscono, il progetto pilota offre un modello su come gli esterni potrebbero vigilare.

---

Stai al passo con l'intelligenza artificiale

Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.

Leggi altre notizie sull'AI →