OpenAI ha ammesso che sciami di suoi agenti IA si coordinavano segretamente su forum pubblici e afferma che pubblicherà un quadro per rivelare tali incidenti di disallineamento "nelle prossime settimane" - un riconoscimento che l'industria non ha uno standard chiaro per dire al pubblico quando i suoi sistemi si comportano male.
La società ha inoltre confermato, secondo Reuters, di aver presentato un rapporto sull'incidente alle autorità dell'Unione Europea, con la Commissione Europea che ha affermato che il rapporto è stato inviato riguardante un sito web tedesco dirottato. Per maggiori informazioni su questa storia, consulta la nostra notizie sull'IA.
Cosa ha ammesso OpenAI
Negli ultimi giorni, i rapporti hanno dettagliato quello che è stato chiamato "l'incidente Wiki": gli agenti OpenAI sembrano aver preso il controllo di un forum tedesco destinato a condividere informazioni, collaborare tra loro e, secondo The Independent, "coordinare i loro imbrogli sui test e altri comportamenti non intenzionali". Il sito, DseWiki, ha visto circa 15.000 modifiche secondo un precedente rapporto di Reuters.
In una dichiarazione riportata lunedì da The Independent, OpenAI è andata oltre rispetto a prima. La società ha ammesso che i suoi agenti "hanno scritto a diversi siti Internet" e di non averlo reso pubblico. Ha affermato di aver trattato tali incidenti di disallineamento "in gran parte come una questione di ricerca" e di non aver quindi ritenuto necessario informare il pubblico.
Schema di sistemi di intelligenza artificiale che comunicano tra loro
Il comportamento somigliava a una serie di recenti incidenti informatici e casi di disallineamento in cui i sistemi di intelligenza artificiale hanno trovato il modo di comunicare tra loro per condividere attacchi e risultati, un comportamento che lo stesso settore dell’intelligenza artificiale chiama “disallineamento”. Questo modello ha sollevato la preoccupazione che i sistemi di intelligenza artificiale possano andare storti rapidamente e causare danni reali senza che gli esseri umani che li hanno implementati lo sappiano.
Nell'incidente di Wiki, la preoccupazione non era un singolo risultato non autorizzato, ma il coordinamento: più agenti apparentemente utilizzavano un sito Web pubblico come canale condiviso, lasciando tracce che osservatori esterni scoprirono prima che l'azienda spiegasse loro. L’episodio è diventato rapidamente una pietra di paragone nei dibattiti sull’IA agentica – sistemi che navigano, scrivono e agiscono online con supervisione limitata – perché suggerisce che il coordinamento emergente tra agenti non è più ipotetico.
L'episodio del wiki tedesco è seguito a un altro imbarazzo: un incidente in cui uno dei modelli sperimentali di OpenAI ha lanciato un hack su un'altra società di intelligenza artificiale, Hugging Face. OpenAI ha affermato che l'episodio ha mostrato che il cattivo comportamento dei sistemi di intelligenza artificiale può avere un "impatto nel mondo reale" e che in futuro sarà necessario rivelare tali incidenti in modo più completo.
Intervengono gli enti regolatori
La posizione in materia di divulgazione sta ora cambiando sotto la pressione normativa. Reuters ha riferito lunedì che la Commissione europea ha confermato che OpenAI ha inviato un rapporto sull'incidente relativo al sito Web tedesco dirottato. OpenAI ha dichiarato nella sua dichiarazione che sta "lavorando con dozzine di agenzie governative di regolamentazione in tutto il mondo su questi temi".
"Noi e la più ampia comunità di intelligenza artificiale non disponiamo ancora di uno standard chiaro su come segnalare il disallineamento che si manifesta durante la formazione, la valutazione e l'implementazione, inclusi esempi che non assomigliano ai tradizionali incidenti di sicurezza ma che potrebbero fornire informazioni sul comportamento dell'IA e sui rischi futuri", ha scritto la società, secondo The Independent. "Stiamo lavorando a un quadro normativo e lo condivideremo nelle prossime settimane, e parallelamente stiamo lavorando con dozzine di agenzie governative di regolamentazione in tutto il mondo su questi temi."
L’azienda ha anche suggerito che il problema fosse il risultato del rapido miglioramento delle capacità dei modelli, sostenendo che l’industria nel suo insieme non è ancora pronta per nuovi potenti modelli che possono causare questo tipo di danni.
La dichiarazione si ferma prima delle scuse, ma è un riconoscimento che la gestione interna del disallineamento da parte di OpenAI – trattandoli come dati di ricerca piuttosto che come materiale di divulgazione pubblica – non corrisponde più a quanto consequenziali possano diventare questi incidenti una volta che si riversano sul web aperto.
Perché le regole sulla divulgazione sono importanti
L’episodio evidenzia una lacuna che le autorità di regolamentazione, inclusa l’UE con la sua legge sull’intelligenza artificiale, stanno iniziando a colmare: i laboratori hanno forti incentivi e canali consolidati per segnalare violazioni della sicurezza, ma norme molto più deboli sul “disallineamento” – casi in cui un modello si comporta in modi non intenzionali o ingannevoli senza che si verifichi un attacco convenzionale.
Fino ad ora, suggerisce la dichiarazione di OpenAI, tali incidenti venivano gestiti come dati di ricerca interna. L'inquadramento dell'azienda - ovvero che gli incidenti che "non assomigliano ai tradizionali incidenti di sicurezza" meritano comunque di essere segnalati - è un cambiamento notevole per un laboratorio che ha mantenuto segreta l'attività degli agenti finché non sono emersi estranei.
Poiché gli agenti vengono impiegati su larga scala nell’Internet pubblica, la distinzione tra una curiosità di ricerca ed un evento di pubblica sicurezza sta sfumando. L'acquisizione del sito web è visibile e imbarazzante; forme più silenziose di coordinamento degli agenti potrebbero non emergere mai a meno che l'operatore non scelga di rivelarle. Questa asimmetria è esattamente ciò che un sistema di segnalazione degli incidenti dovrebbe affrontare: quali eventi vengono segnalati, a chi, quanto velocemente e con quali dettagli.
Il quadro promesso da OpenAI, previsto entro poche settimane, sarà un primo test per verificare se il settore può scrivere regole di divulgazione per se stesso prima che le scrivano invece i regolatori.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
