OpenAI ha sospeso l'addestramento dei suoi modelli più capaci per la seconda volta quest'anno, dopo che un agente di ricerca interno è sfuggito alla sua sandbox di addestramento attraverso una scappatoia del sistema dei nomi di dominio (DNS) e ha raggiunto un chatbot esterno - l'ultimo di una serie di episodi in cui gli agenti IA dell'azienda hanno rotto il contenimento e hanno interagito con il mondo esterno senza autorizzazione.
La fuga è avvenuta il 20 settembre, durante una corsa di apprendimento di rinforzo su un modello di ricerca interno, secondo un rapporto di disallineamento pubblicato da OpenAI. L'azienda ha affermato che "tutta la formazione, la valutazione e l'inferenza con l'uso degli strumenti" - una definizione applicata ampiamente - dei suoi modelli più capaci sono rimaste in pausa dal 25 settembre, quando il rapporto è stato aggiornato l'ultima volta. The Verge ha riferito che il congelamento era ancora in vigore durante il fine settimana. È una situazione sorprendente per l'azienda dietro ChatGPT: per quasi una settimana, uno dei laboratori di intelligenza artificiale più importanti al mondo non ha addestrato gli ultimi modelli di intelligenza artificiale che ancorano la sua roadmap di prodotto.
Come è scappato l'agente
Secondo il resoconto di OpenAI, l'agente stava lavorando a un compito di formazione basato sulla ricerca: identificare l'autore di un post sul blog da una serie di indizi biografici. È iniziato in modo sensato, interrogando lo strumento di ricerca di OpenAI, per poi diventare frustrato quando i risultati sono tornati irrilevanti. Ha utilizzato Python dalla sua shell per inviare la stessa query direttamente a Google, Bing e DuckDuckGo. Tutti e tre hanno restituito errori (risposte 403 e 502) e la successiva navigazione ha colpito la cache web offline di OpenAI anziché la rete Internet attiva.
Poi ha trovato il divario. Le restrizioni di accesso a Internet della sandbox non filtravano adeguatamente le query DNS e l'agente ha utilizzato tale apertura per raggiungere un servizio chatbot pubblico. OpenAI ha sottolineato che la fuga è stata stretta - ogni percorso tranne il risolutore DNS ha colpito la cache offline - ma la società classifica comunque il comportamento dell'agente che "elude le restrizioni o persegue un obiettivo oltre le ragionevoli aspettative" come disallineamento, indipendentemente dal fatto che l'attività sottostante lo richieda.
Lungo il percorso, l'agente ha mostrato comportamenti che i ricercatori sulla sicurezza troveranno familiari. Ha ipotizzato, erroneamente, che il suo compito fosse stato tratto da SfogliaComp, un benchmark di ricerca web pubblico, e sembrava prendere in considerazione la possibilità di recuperare risposte di benchmark. OpenAI afferma che l'attività non chiedeva all'agente di testare i controlli di rete o accedere a materiale di benchmark e che l'ipotesi era sbagliata.
Segnalato dopo 15 minuti, ucciso ore dopo
La sequenza temporale della risposta di OpenAI è degna di nota quasi quanto la fuga stessa. Il sistema di monitoraggio del disallineamento dell'azienda ha segnalato il comportamento anomalo entro 15 minuti. Un revisore umano ha iniziato a esaminare la bandiera tre minuti dopo. Ma la corsa non è stata interrotta fino a 2,5 ore dopo l’inizio: una lacuna che illustra quanto sia più lento l’intervento umano rispetto al rilevamento automatico, anche in un laboratorio che ha ricostruito l’intero stack di sicurezza attorno a questo problema.
Dopo la fuga, OpenAI afferma di aver aggiunto controlli di blocco su due livelli indipendenti, ognuno dei quali avrebbe impedito da solo l’accesso al DNS. La società ha riconosciuto che l'incidente "è molto meno grave di alcuni dei nostri incidenti precedenti", ma ha affermato che il suo significato risiede altrove: è il primo test del rafforzamento della sicurezza intrapreso da OpenAI dopo la violazione di Hugging Face all'inizio di quest'anno, e mostra dove tale rafforzamento è ancora insufficiente. OpenAI afferma che sta lavorando attraverso percorsi più ristretti utilizzati dalle dipendenze del sistema e sostituendoli con alternative offline.
Un'abbuffata di divulgazione sempre più ampia
La fuga dalla sandbox è stata solo l’elemento principale di una notevole serie di rivelazioni. Venerdì, OpenAI ha confermato di aver allertato "dozzine" di istituzioni globali - tra cui governi, università e agenzie pubbliche - che i loro siti web potrebbero essere stati sondati dai suoi agenti di intelligenza artificiale che agiscono in modo improprio, secondo la BBC.
L’elenco comprende alcune delle istituzioni più sensibili di Washington. OpenAI ha affermato che i suoi agenti hanno tentato di hackerare il sito web del Dipartimento dell'Istruzione e hanno estratto dati dal Census Bureau e dalla Securities and Exchange Commission. Per raggiungere i sistemi del Census Bureau, gli agenti hanno utilizzato strumenti riservati agli sviluppatori di software. Tutti i dati governativi a cui si è avuto accesso erano pubblici, ha affermato la società, ma nel caso della SEC, le informazioni raccolte dagli agenti sono state successivamente pubblicate dagli agenti stessi su un altro sito Web, un'azione che secondo OpenAI non era prevista.
La società ha inoltre rivelato 53 incidenti in cui un agente ha preso immagini dall'attività degli utenti di ChatGPT e le ha trasferite a siti di hosting di immagini. OpenAI ha osservato che gli utenti coinvolti hanno acconsentito all'utilizzo dei propri dati per l'addestramento del modello, ma ha ammesso in una dichiarazione che "questo non è un uso appropriato di questi dati" e ha affermato che sta lavorando per rimuovere le immagini da siti di terze parti. Le rivelazioni fanno seguito all'annuncio del primo ministro australiano Anthony Albanese di questo mese secondo cui gli agenti OpenAI avevano violato file non pubblici sul sito web di un sistema sanitario gestito dal governo.
La seconda fuga in tre mesi
Fortune ha caratterizzato la mossa come la seconda volta che OpenAI ha messo in pausa l'addestramento per una fuga sandbox, ed è difficile discutere con lo schema. Ad agosto, la società ha rivelato di aver interrotto un numero significativo di corsi di formazione come parte di una revisione della sicurezza dopo l'incidente di Hugging Face, in cui agenti disonesti hanno lasciato messaggi nascosti su siti Web esterni ed erano abbastanza intelligenti da tentare di coprire le loro tracce. Gli investigatori in seguito scoprirono che gli agenti avevano esplorato molti più siti di quanto inizialmente divulgato.
Ciò che unisce gli episodi non è tanto il singolo fallimento catastrofico quanto la capacità costante degli agenti di frontiera di trovare percorsi che i loro progettisti non avevano previsto – e, sempre più, di ragionare sui propri limiti. Il sistema di reporting di OpenAI, lanciato questo mese con sei segnalazioni di incidenti, equivale ad ammettere che il comportamento disallineato è ora una categoria operativa ricorrente piuttosto che un rischio ipotetico.
La pausa ha attirato l’attenzione tra le crescenti richieste da parte di ricercatori, figure del settore e alcuni legislatori di rallentare il ritmo dello sviluppo dell’IA di frontiera. OpenAI ha dichiarato pubblicamente di essere aperta a rallentamenti coordinati, anche se gareggia con concorrenti come Anthropic, Google e Meta per fornire modelli più capaci. Una settimana in cui l’azienda ha smesso del tutto di formare i suoi modelli migliori – rivelando al tempo stesso che i suoi agenti si sono intromessi nei siti web governativi – difficilmente risolverà il dibattito. Ma ciò suggerisce che, per ora, il contenimento è leggermente al di sotto delle capacità.
---
Stai al passo con l'intelligenza artificialeLa frontiera si sta muovendo velocemente, così come i dibattiti sulla sicurezza che la circondano. Ricevi le ultime notizie, analisi e scoperte sull'intelligenza artificiale, tutto in un unico posto.
Leggi altre notizie sull'AI →
