L’esercito degli Stati Uniti si è avvicinato a uno scontro diretto con la Cina più di quanto quasi tutti si rendessero conto questa primavera – e secondo un’esclusiva della CNN pubblicata venerdì, un’allucinazione dell’intelligenza artificiale è stata la ragione di ciò.
Il rapporto descrive in dettaglio come un documento di intelligence generato con l’aiuto di un chatbot abbia innescato una catena di eventi che hanno portato personale americano armato a prepararsi a salire a bordo di una nave cinese in Medio Oriente, nella convinzione che la nave stesse trasportando componenti di un programma di armi nucleari. Gli aerei militari erano già in volo, secondo fonti vicine all'operazione. Per maggiori informazioni su questa storia, consulta la nostra copertura dell'industria IA.
La missione fu cancellata solo poco prima dell’intercettazione pianificata, quando i funzionari scavarono più a fondo nel rapporto e scoprirono che la sua affermazione centrale – quella che aveva mobilitato l’esercito americano – era sbagliata.
Una fonte a conoscenza dell'episodio ha descritto il rapporto dell'intelligence alla CNN come "del tutto falso". Inoltre, ha detto la fonte, "ha quasi iniziato una guerra". Qualsiasi operazione statunitense contro una nave cinese avrebbe potuto sfociare in un conflitto armato tra le due nazioni.
Come la rivendicazione di un chatbot è diventata un'operazione militare
L’episodio è iniziato questa primavera, nel mezzo della guerra con l’Iran, quando un rapporto dell’intelligence ha iniziato a circolare tra le forze armate statunitensi. Il documento affermava che una nave cinese in Medio Oriente trasportava componenti di un programma di armi nucleari e faceva immediatamente scattare il campanello d’allarme.
Secondo la CNN, il rapporto è stato redatto da un analista del comando delle operazioni speciali degli Stati Uniti che aveva interrogato un chatbot sui rapporti dell'intelligence sul manifesto della nave, rapporti che provenivano dal Comando delle operazioni speciali degli Stati Uniti del Pacifico, con sede alle Hawaii. Non è chiaro se il chatbot fosse un prodotto disponibile in commercio o uno strumento del governo statunitense. Un ex alto funzionario americano che ha familiarità con i sistemi di intelligenza artificiale utilizzati dagli analisti militari e di intelligence ha offerto alla CNN una valutazione schietta delle offerte interne del governo: "Gli strumenti interni sono per lo più solo copie di materiale commerciale con il rossetto".
Il chatbot ha fuso l'intelligence open source con l'intelligence dei segnali segreti detenuta dal governo e ha raggiunto la fatidica conclusione sul carico della nave. L’analista ha quindi utilizzato l’intelligenza artificiale una seconda volta per racchiudere i risultati in un rapporto di intelligence standard – il tipo di rapporto di intelligence a cui gli ufficiali militari sono abituati a fidarsi – e lo ha diffuso.
Quattro fonti a conoscenza dell’episodio hanno parlato alla CNN. Secondo due di loro, membri armati dell'esercito americano si stavano preparando a salire a bordo della nave quando le notizie sono andate in pezzi. La CNN non è stata in grado di scoprire cosa fosse effettivamente il carico erroneamente identificato. Il Comando Operazioni Speciali degli Stati Uniti nel Pacifico e il Pentagono non hanno risposto alla richiesta di commento della CNN.
Una strategia di accelerazione incontra la realtà
Il quasi incidente arriva in un momento in cui il Pentagono sta spingendo per integrare l’intelligenza artificiale in quasi ogni aspetto del suo lavoro: analizzando enormi volumi di informazioni grezze, selezionando obiettivi per gli attacchi e gestendo compiti più banali come il budget, la logistica e le catene di approvvigionamento.
A gennaio, il segretario alla Difesa Pete Hegseth ha pubblicato la “Strategia di accelerazione dell’intelligenza artificiale” del dipartimento, un tentativo di accelerare l’adozione dell’intelligenza artificiale militare.
"Libereremo la sperimentazione, elimineremo le barriere burocratiche, concentreremo i nostri investimenti e dimostreremo l'approccio esecutivo necessario per garantire di essere leader nell'intelligenza artificiale militare", ha affermato Hegseth in un discorso che annunciava la strategia.
La nota di accompagnamento va oltre, ordinando al dipartimento di rendere disponibile l’intelligenza artificiale attraverso diversi programmi con l’obiettivo di “democratizzare la sperimentazione e la trasformazione dell’intelligenza artificiale in tutto il dipartimento mettendo i modelli di intelligenza artificiale leader a livello mondiale direttamente nelle mani dei nostri tre milioni di personale civile e militare, a tutti i livelli di classificazione”.
Ma lo sforzo è decentralizzato, hanno detto alla CNN diversi funzionari statunitensi, con diverse parti del governo che utilizzano strumenti diversi con ordini e standard di sicurezza diversi. Non esiste un unico insieme di standard per verificare le informazioni generate da questi strumenti e l’affidabilità dei vari sistemi varia notevolmente.
Il targeting è il luogo in cui risiede il rischio
Gli analisti temono da tempo che l’intelligenza artificiale potrebbe contribuire a un catastrofico errore di calcolo se gli stati-nazione agissero sulla base di dati scadenti o corrotti. L’episodio della nave cinese è un caso documentato di questo tipo di guasto che si è formato in tempo reale – e delle misure di salvaguardia che non sono riuscite a rilevarlo fino all’ultimo momento.
"L'intelligenza artificiale nel targeting è sicuramente qualcosa che si sta intensificando, e non esiste una vera guida su come avere un essere umano nel circuito possa prevenire vittime civili o fratricidi", ha detto alla CNN un'altra fonte che ha familiarità con le attuali politiche militari.
Secondo il rapporto della CNN, il tipo di allucinazione che ha prodotto la falsa affermazione non è stato un incidente isolato nella comunità dell’intelligence da quando gli strumenti di intelligenza artificiale hanno iniziato a proliferare attraverso il governo. Diverse fonti sottolineano anche un rischio culturale: gli analisti più giovani, descritti come nativi di questi strumenti, hanno maggiori probabilità di fidarsi di loro in modo acritico, e la pressione a produrre intelligence più velocemente lascia più spazio all’errore.
"L'intelligenza artificiale ti consente di arrivare a una cattiva idea più velocemente", ha detto una fonte.
Un rischio più immediato della superintelligenza
Per settimane, Washington è stata consumata da un dibattito sul rischio dell’intelligenza artificiale a lungo termine, a seguito di una serie di terribili avvertimenti pubblici da parte di ingegneri e dirigenti tecnologici della Silicon Valley sui sistemi potenzialmente liberi dai vincoli umani. Il rapporto della CNN sottolinea un pericolo diverso e più immediato: gli esseri umani prendono decisioni disastrose basate su risultati dell’intelligenza artificiale imprecisi o fuorvianti – proprio ora, nel mezzo di reali tensioni geopolitiche.
Questa primavera non sono stati sparati colpi e l'abbordaggio non è mai avvenuto. Ma l’episodio rappresenta l’esempio più chiaro finora che gli errori generati dalle macchine, una volta riciclati nei rapporti ufficiali, possono viaggiare attraverso l’apparato militare più potente del mondo fino al limite del conflitto armato tra potenze nucleari – senza nessuno standard di verifica permanente in atto per fermare il prossimo.
---
Rimani Aggiornato sull'IALe ultime notizie, analisi e scoperte sull'intelligenza artificiale — tutto in un posto.
Leggi altre notizie sull'IA →
