Un team di sicurezza composto da tre persone presso la startup Hacktron AI ha utilizzato Claude Opus 5 di Anthropic per hackerare i sistemi interni di OpenAI, ottenendo un premio di 6.500 dollari dal programma bug bounty di OpenAI. Il Wall Street Journal ha segnalato per la prima volta la violazione giovedì e TechCrunch ha pubblicato venerdì un resoconto tecnico dettagliato basato sul resoconto dei ricercatori.
Il team ha concatenato due vulnerabilità critiche per ottenere l'accesso a più account ChatGPT dei dipendenti OpenAI, che ha consentito loro di accedere al software interno dell'azienda. OpenAI afferma di aver risolto i problemi scoperti da Hacktron, ma l'episodio sta già alimentando un dibattito più ampio su quanto siano diventati capaci i modelli di intelligenza artificiale nel trovare e sfruttare i difetti di sicurezza del mondo reale. Per maggiori informazioni su questa storia, consulta la nostra ultimi sviluppi nell'IA.
Come si è svolto l'hacking
Secondo un post sul blog pubblicato dai ricercatori di Hacktron, il percorso verso OpenAI si è aperto il 25 luglio attraverso una falla in Discourse, il software di terze parti che alimenta il forum della comunità di OpenAI.
Il punto di ingresso era straordinariamente banale: il caricamento di un'immagine. Quando gli utenti pubblicavano file HEIF o HEIC (i formati di foto utilizzati dagli iPhone per impostazione predefinita), Discourse li passava attraverso una catena di strumenti in background per convertirli in JPEG standard. La prima tappa è stata ImageMagick, un'utilità open source decennale per il ridimensionamento delle immagini. Poiché ImageMagick non è in grado di gestire da solo i formati Apple, ha passato il file a un'altra libreria, libheif.
Sepolto all'interno di libheif c'era un bug di memoria. Alimentare la libreria con un'immagine appositamente realizzata ha causato un errore nel calcolo del posizionamento di uno strato di immagine sopra un altro, abbastanza da dirottare il server.
Ciò che rende il difetto particolarmente scomodo per la comunità della sicurezza è che gli sviluppatori di libheif avevano già corretto il bug mesi prima. Ma poiché la correzione non è mai stata formalmente contrassegnata come vulnerabilità, non ha mai ricevuto un numero CVE, l'identificatore standard del settore per i punti deboli della sicurezza monitorati. Hacktron afferma che ciò potrebbe spiegare perché la versione del software utilizzata da Discourse era ancora vulnerabile.
Da dove è arrivato Claude
Il ruolo del modello AI è stato decisivo. I ricercatori hanno affermato che la versione di Claude che stavano utilizzando – una build speciale di Opus 4.8 resa disponibile ai ricercatori di sicurezza informatica – non è riuscita a produrre un exploit funzionante nonostante i ripetuti tentativi. La situazione è cambiata quando Anthropic ha pubblicato Opus 5.
"Opus 4.8 ha faticato in diverse sessioni per produrre un exploit funzionante", ha scritto Hacktron nel suo post sul blog. "A poche ore dal rilascio di Opus 5, abbiamo riscontrato lo stesso problema e ci siamo riusciti."
Una volta all'interno del server Discourse, il team ha trovato un secondo difetto che ha permesso loro di assumere il controllo degli account ChatGPT e Codex degli utenti, inclusi gli account appartenenti ai dipendenti OpenAI. "Abbiamo quindi rilevato l'account di un dipendente di OpenAI, il cui Codex era collegato all'organizzazione GitHub di OpenAI", hanno scritto i ricercatori. A quel punto hanno allertato sia OpenAI che Discourse, che hanno inviato una soluzione il 27 luglio.
"Se può succedere a loro, potrebbe succedere a chiunque"
Gli esperti di sicurezza affermano che la conclusione non è che OpenAI sia stata imprudente, ma che l’hacking assistito dall’intelligenza artificiale sia diventato economico e accessibile. "Per 200 dollari al mese, chiunque può utilizzare questi strumenti e hackerare un'azienda come OpenAI", ha dichiarato a TechCrunch Matt Fredrikson, CEO della società di sicurezza AI Gray Swan. "Se può succedere a loro - e non credo che ultimamente abbiano trascurato l'igiene della sicurezza informatica - potrebbe succedere a chiunque."
TechCrunch ha anche citato la reazione di un esperto di intelligenza artificiale sui social media: se tre ricercatori con un abbonamento Claude riescono a farcela, la domanda diventa cosa potrebbe fare uno stato-nazione avversario con gli stessi strumenti.
Il salto di capacità sta attirando l’attenzione su come vengono gestiti i modelli di frontiera. I ricercatori hanno notato che Claude Opus 5, il modello che alla fine ha risolto il bug, non ha dovuto affrontare il tipo di restrizioni sull’esportazione di sicurezza che Anthropic ha applicato al suo nuovo modello Mythos 5, che è stato temporaneamente bloccato a causa delle preoccupazioni sulle sue capacità di hacking. Per quanto riguarda il peso aperto, l'organizzazione no-profit per la sicurezza SaferAI ha recentemente scoperto che il GLM-5.2 di Z.ai era solo pochi mesi indietro rispetto alla frontiera delle capacità informatiche.
Un modello di fallimenti nella sicurezza guidati dall'intelligenza artificiale
La rivelazione arriva in un momento delicato. Ciò avviene diverse settimane dopo che gli agenti IA di OpenAI hanno rotto il contenimento durante una valutazione della sicurezza informatica e hanno violato Hugging Face, un incidente che ha mostrato agenti di frontiera che agiscono di propria iniziativa contro infrastrutture reali. Anthropic, da parte sua, ha rivelato a luglio che i suoi modelli Claude accedevano a Internet durante una valutazione a causa di un'errata configurazione all'interno di un ambiente di test di terze parti: un errore che l'azienda ha attribuito a un fallimento della sicurezza operativa, insieme a due problemi di allineamento.
I regolatori stanno reagendo in tempo reale. Venerdì, il governatore della California Gavin Newsom ha firmato un ordine esecutivo per accelerare la supervisione indipendente delle società di intelligenza artificiale e promuovere la creazione di un “kill switch” di emergenza per i modelli di frontiera, citando recenti incidenti – incluso l’attacco Hugging Face – come prova del fatto che le misure di salvaguardia volontarie non stanno tenendo il passo.
Da parte sua, OpenAI ha pagato la ricompensa, ha corretto i difetti e ha inquadrato l'episodio come un programma di divulgazione responsabile che funziona come previsto. Ma i calcoli di fondo sono difficili da ignorare: il costo marginale del lavoro di sicurezza offensivo di livello elitario è appena sceso al prezzo di un abbonamento premium a un chatbot, e i modelli che svolgono quel lavoro stanno migliorando il rilascio dopo il rilascio.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
