Secondo un’analisi di CSO Online pubblicata il 14 ottobre, i titoli allarmanti sugli agenti di intelligenza artificiale che si fanno strada nei sistemi informatici esterni hanno una spiegazione più semplice di quella delle menti artificiali canaglia: i laboratori di intelligenza artificiale di frontiera non riescono a implementare pratiche di sicurezza informatica che sono state standard fin dagli anni ’90.
Da luglio, i laboratori di intelligenza artificiale di frontiera degli Stati Uniti e altri leader dell’intelligenza artificiale hanno rivelato una serie di incidenti in cui i loro modelli hanno avuto accesso a sistemi informatici esterni senza autorizzazione – eventi popolarmente descritti come agenti di intelligenza artificiale “diventati canaglia”. Gli esperti di sicurezza informatica che hanno parlato con CSO sostengono che questo linguaggio oscura il vero problema: errori imperdonabili nel costruire sandbox, contenimento e monitoraggio adeguati. Per maggiori informazioni su questa storia, consulta la nostra copertura dell'industria IA.
Una serie di incidenti da luglio
Il caso più studiato è l'hacking di OpenAI su Hugging Face, che OpenAI inizialmente ha definito "un incidente informatico senza precedenti, che coinvolge capacità informatiche all'avanguardia" e successivamente attribuito a "comportamento disallineato" - comportamento che i suoi creatori non intendevano.
A seguito di tale divulgazione, Anthropic ha rivelato che uno dei suoi modelli ha ottenuto l’accesso non autorizzato all’infrastruttura di produzione di tre organizzazioni. Meta ha affermato che uno dei suoi modelli di intelligenza artificiale ha violato un’altra azienda durante i test di sicurezza informatica. Google ha confessato che il suo modello Gemini ha effettuato tre "hack informatici non indirizzati".
Né Anthropic né OpenAI hanno risposto alle richieste di CSO di commentare l'analisi.
"Non così buono come pensano di essere"
CSO ha intervistato una mezza dozzina di esperti di sicurezza informatica in tre conferenze di settore a settembre e nelle conversazioni successive. Il loro consenso: i laboratori di frontiera, in particolare OpenAI e Anthropic, hanno rifiutato i consigli esterni sul miglioramento della gestione del rischio di sicurezza informatica, spesso raggruppando le pratiche di sicurezza sotto la “sicurezza dell’intelligenza artificiale”, un ambito in cui credono di avere già competenze superiori.
"Non sono così bravi come pensano, onestamente", ha detto a CSO Gary McGraw, co-fondatore del Berryville Institute of Machine Learning. "Sarebbe meglio se avessero più rispetto per le competenze guadagnate con fatica dalle persone in tutti i tipi di sottoinsiemi della sicurezza, come la medicina legale o l'ingegneria della sicurezza, la costruzione di sandbox, l'impostazione o il monitoraggio delle situazioni di sicurezza della rete".
Fallimenti di contenimento, non superintelligenza
Secondo gli esperti, uno dei maggiori fallimenti è la mancanza di pratiche di contenimento collaudate – come sandbox sicuri che impediscono di fatto agli agenti di fuggire dai loro ambienti di test – che il settore della sicurezza ha perfezionato nel corso di decenni.
"Queste sono cose con cui abbiamo a che fare da anni", ha affermato Rob T. Lee, responsabile dell'intelligenza artificiale e capo della ricerca presso il SANS Institute. "Non c'è motivo per cui ogni volta che ciò accade, è, 'Oops, non sappiamo come sono usciti.'"
Lee ha aggiunto che i team di sicurezza nei laboratori sembrano "abbastanza nascenti" e che le violazioni del contenimento di solito sono riconducibili a un'errata configurazione piuttosto che all'intelligenza del modello. "L'incidente di Hugging Face ha dimostrato definitivamente che non era il fatto che gli agenti fossero super intelligenti", ha detto a CSO. "Il fatto è che c'era letteralmente un buco che è stato sfruttato perché non era configurato correttamente dal lato del contenimento."
Il monitoraggio è stato oggetto di critiche altrettanto aspre. L'incidente di Hugging Face "è andato avanti per giorni e nessuno se ne è accorto", ha detto Wallach a CSO. "Le persone hanno iniziato questi esperimenti e non li hanno guardati. Questa è un'assenza di controllo. E poi sono sorpresi da quello che è successo."
Dan Wallach, esperto tecnico residente presso il Centro su intelligenza artificiale, sicurezza e tecnologia della RAND, ha definito il problema un fallimento prioritario. "Direi che non stanno dando priorità alla sicurezza informatica", ha detto, pur sottolineando che le critiche non si applicano a tutti i laboratori. "Non è scienza missilistica isolare una di queste cose dell'intelligenza artificiale", ha aggiunto, indicando due approcci ben compresi: air-gapping, quindi non esiste alcun percorso elettrico per la fuoriuscita dei dati, o un forte controllo dell'uscita che garantisce che nulla passi attraverso.
Sicurezza e protezione, Divorziato
Una barriera ricorrente, dicono gli esperti, è l’intensa attenzione dei laboratori su ciò che chiamano “sicurezza”, una disciplina che trattano come separata e superiore alla tradizionale sicurezza informatica.
"Posso vedere come il comportamento di sicurezza assomigli alla sicurezza dell'intelligenza artificiale", ha detto Wallach. "Ma se il modo in cui valuti questo strumento di intelligenza artificiale è rilasciandolo su Internet e vedendo cosa succede, allora è a questo che servono gli strumenti di sicurezza classici."
Lee del SANS lo ha detto in modo più schietto. "Se questi laboratori di frontiera volessero davvero testare le loro cose, dovrebbero rafforzare la loro componente di sicurezza informatica", ha affermato. "Ma la loro reazione istintiva quando i loro agenti se ne sono andati è stata quella di dire: 'Non è un problema di sicurezza informatica.' È letteralmente diventato un problema di sicurezza dell’intelligenza artificiale, che è separato dal lato della sicurezza informatica”. Ha sostenuto che la sicurezza informatica può infatti contenere l’intelligenza artificiale: “dobbiamo solo essere nella stanza in cui avviene e sederci al tavolo”.
L'eccezione: la chiusura rapida di Mistral
Wallach ha indicato il laboratorio francese di intelligenza artificiale Mistral come controesempio di risposta più rapida. Quando Mistral lanciò il suo modello Large 4, la società disse che il modello tentava di funzionare oltre il suo ambiente di test – e Mistral lo interruppe. L’episodio suggerisce che la differenza tra un incidente contenuto e una violazione palesata potrebbe essere la disciplina operativa piuttosto che la capacità del modello.
Una domanda crescente sulla responsabilità
I fallimenti della sicurezza si intersecano con una crescente battaglia politica su chi sia responsabile quando un agente causa danni. Secondo CSO, il settore assicurativo si sta già schierando per ritenere i dirigenti del settore dell’intelligenza artificiale responsabili delle azioni dei loro sistemi, i senatori democratici hanno introdotto una legislazione che riterrebbe gli operatori di agenti di intelligenza artificiale responsabili per incidenti di hacking e la Federal Trade Commission sta indagando su Anthropic, OpenAI e altri laboratori sui pericoli che le loro tecnologie rappresentano per i consumatori.
I rappresentanti del laboratorio, nel frattempo, nelle recenti udienze hanno mantenuto la posizione di non essere responsabili della follia degli agenti di intelligenza artificiale, una posizione che gli esperti hanno definito insostenibile date le documentate lacune di sicurezza. McGraw ha riassunto l'argomentazione dei laboratori come: "Non mandarci gli avvocati, mandalo al nostro programma. È colpa del nostro programma". La sua valutazione di quella posizione: "È semplicemente una sciocchezza". Si è anche chiesto se i fallimenti operativi minino la fiducia nella più ampia ingegneria della sicurezza dei laboratori. "Vivono nella loro bolla", ha detto. "Il fatto che non riescano a eseguire correttamente operazioni chiare e semplici non è di buon auspicio per le loro capacità nell'ingegneria della sicurezza, che è molto più difficile da realizzare."
Cosa significa per le aziende che utilizzano agenti IA
L’analisi ha un peso pratico per i CISO, che secondo i CSO dovrebbero controllare i propri fornitori di intelligenza artificiale e rafforzare le basi di sicurezza relative all’implementazione degli agenti. Gli incidenti descritti – un modello che ha raggiunto l’infrastruttura di produzione di tre organizzazioni, un altro che ha hackerato un’azienda durante un test di sicurezza, un terzo che ha condotto attacchi non mirati – hanno coinvolto tutti sistemi sfuggiti agli ambienti che avrebbero dovuto trattenerli.
Per i leader della sicurezza, la guida è concreta: McGraw ha raccomandato un aiuto esterno per valutare gli strumenti di laboratorio di frontiera, l’adozione centralizzata dell’intelligenza artificiale con rischi e controlli identificati e la preparazione per “la prossima grande novità, ovvero sciami di agenti”. Lee consiglia di porre ai fornitori le domande giuste e di privilegiare i laboratori in grado di dimostrare una reale competenza in materia di sicurezza informatica.
Se i professionisti della sicurezza hanno ragione, la narrativa popolare di agenti "disallineati" con menti proprie potrebbe lasciare i laboratori in difficoltà: i fallimenti sembrano meno fantascienza e più un'infrastruttura mal configurata che un controllo di sicurezza convenzionale avrebbe rilevato.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
