L’esercito americano è arrivato pericolosamente vicino all’intercettazione di una nave cinese sulla base di un rapporto dell’intelligence generato con l’aiuto di un chatbot basato sull’intelligenza artificiale e rivelatosi del tutto falso, secondo un’esclusiva della CNN pubblicata giovedì.

L’episodio, descritto alla CNN da quattro fonti a conoscenza della questione, è iniziato all’inizio di questa primavera – nel bel mezzo della guerra con l’Iran – quando un rapporto circolava tra le forze armate statunitensi sostenendo che una nave cinese in Medio Oriente trasportava componenti di un programma di armi nucleari. Il rapporto ha immediatamente fatto scattare il campanello d'allarme e i militari sono entrati in azione con l'intenzione di intercettare la nave. Per una copertura regolare di storie come questa, segui AI news mentre si sviluppa.

Aerei in volo, festa d'imbarco pronta

Secondo due fonti della CNN, membri armati dell'esercito americano si stavano preparando a salire a bordo della nave. Gli aerei militari erano già in volo, ha detto una fonte.

È stato solo poco prima dell’operazione pianificata che i funzionari hanno approfondito il rapporto – redatto da un analista del comando delle operazioni speciali – e hanno scoperto che era stato generato con l’aiuto dell’intelligenza artificiale e che il chatbot utilizzato dall’analista aveva identificato in modo impreciso il materiale che la nave stava trasportando. La CNN ha riferito di non essere stata in grado di scoprire quale fosse effettivamente il carico erroneamente identificato.

Una fonte ha descritto il rapporto come "del tutto falso". Inoltre, ha detto la fonte, “è quasi iniziata una guerra” – dal momento che qualsiasi operazione statunitense contro una nave cinese avrebbe potuto rischiare di degenerare in un conflitto armato tra le due nazioni.

Come è stato costruito il falso rapporto

L'analista aveva interrogato un chatbot sui rapporti dell'intelligence sulla lista della nave provenienti dallo Special Operations Command Pacific, con sede alle Hawaii. La CNN ha riferito che non è chiaro se il chatbot sia un prodotto disponibile in commercio o uno strumento del governo degli Stati Uniti.

Il bot ha fuso insieme l’intelligence open source con l’intelligence dei segnali segreti nelle aziende governative e ha raggiunto la fatidica conclusione sul materiale a bordo della nave. L’analista ha quindi utilizzato l’intelligenza artificiale una seconda volta – per racchiudere i risultati in un rapporto di intelligence standard, del tipo considerato affidabile dai funzionari militari – e diffonderlo nel sistema.

Il Comando Operazioni Speciali degli Stati Uniti nel Pacifico e il Pentagono non hanno risposto alla richiesta di commento della CNN.

Una corsa militare per adottare l'intelligenza artificiale

Il quasi incidente arriva in un momento in cui i funzionari della comunità militare e di intelligence degli Stati Uniti stanno spingendo per integrare l’intelligenza artificiale in quasi ogni aspetto del loro lavoro: dall’analisi di enormi volumi di informazioni grezze e la selezione di obiettivi per gli attacchi, ad applicazioni banali come il budget, la logistica e le catene di approvvigionamento.

A gennaio, il segretario alla Difesa Pete Hegseth ha pubblicato la “Strategia di accelerazione dell’intelligenza artificiale” del dipartimento, intesa ad accelerare l’adozione dell’intelligenza artificiale da parte dei militari. "Libereremo la sperimentazione, elimineremo le barriere burocratiche, concentreremo i nostri investimenti e dimostreremo l'approccio esecutivo necessario per garantire di essere leader nell'intelligenza artificiale militare", ha affermato Hegseth in un discorso che annunciava la strategia.

La strategia richiede esplicitamente la democratizzazione dell’accesso, ordinando al dipartimento di mettere “i modelli americani di intelligenza artificiale leader a livello mondiale direttamente nelle mani dei nostri tre milioni di dipendenti civili e militari, a tutti i livelli di classificazione”.

Nessun unico insieme di regole

Ma lo sforzo è decentralizzato, hanno detto alla CNN diversi funzionari statunitensi, con diverse parti del governo che utilizzano strumenti diversi con ordini e standard di sicurezza diversi. Non esiste un insieme di standard su come gli Stati Uniti verificano le informazioni generate da questi strumenti e l’affidabilità dei vari sistemi varia notevolmente.

"Gli strumenti interni sono per lo più solo copie di materiale commerciale con il rossetto", ha detto alla CNN un ex alto funzionario americano che ha familiarità con i sistemi di intelligenza artificiale utilizzati dagli analisti militari e di intelligence.

Il targeting dell'IA si sta "intensificando" con poche indicazioni

Fonti affermano che l’esercito si sta rapidamente rivolgendo all’intelligenza artificiale per aiutare con il targeting, un’area che comporta l’ovvio rischio di errori fatali. "L'intelligenza artificiale nel targeting è sicuramente qualcosa che si sta intensificando e non esiste una guida reale su come avere un essere umano nel circuito possa prevenire vittime civili o fratricidi", ha detto alla CNN un'altra fonte che ha familiarità con le attuali politiche militari.

Gli analisti avvertono da tempo che l’intelligenza artificiale potrebbe contribuire a un catastrofico errore di calcolo se gli stati nazionali si affidassero a dati scadenti o corrotti – proprio il tipo di errore di calcolo che avrebbe potuto portare gli Stati Uniti a sparare su una nave cinese sulla base di informazioni imprecise.

Secondo la CNN, il tipo di allucinazione dietro il falso rapporto sulla nave non è stato un incidente isolato nella comunità dell’intelligence da quando questi strumenti hanno iniziato a proliferare attraverso il governo.

"L'intelligenza artificiale ti consente di arrivare più velocemente a una cattiva idea"

Per settimane, i politici di Washington hanno dibattuto intensamente sull’intelligenza artificiale a seguito di una serie di terribili avvertimenti provenienti dalla Silicon Valley sulla possibilità che l’intelligenza artificiale potesse liberarsi dai vincoli umani. Ma l’episodio della nave cinese sottolinea un rischio diverso e più immediato: gli esseri umani prendono decisioni disastrose sulla base di informazioni imprecise o fuorvianti generate dai sistemi di intelligenza artificiale.

Diverse fonti hanno detto alla CNN che gli analisti più giovani in particolare – nativi di questi strumenti – hanno maggiori probabilità di fidarsi di loro in modo acritico e che l’intelligenza artificiale ha intensificato la pressione sugli analisti affinché producano e diffondano l’intelligence più velocemente, aprendo la porta agli errori.

"L'intelligenza artificiale ti consente di arrivare a una cattiva idea più velocemente", ha detto una delle fonti.

È probabile che l’episodio alimenterà un dibattito già acceso sulla velocità con cui le forze armate statunitensi dovrebbero integrare l’intelligenza artificiale nei suoi flussi di lavoro più sensibili e su quali passaggi di verifica dovrebbero essere obbligatori prima che la segnalazione assistita dall’intelligenza artificiale possa spostare truppe, aerei e personale armato verso una potenziale operazione di combattimento. Per ora, i dettagli suggeriscono che le misure di salvaguardia esistenti sono un mosaico – e che in questo caso, la differenza tra un rapporto di intelligence di routine e un incidente internazionale è attribuita ai funzionari a cui è capitato di ricontrollare.

Stai al passo con l'intelligenza artificiale

Per ulteriori resoconti sulla politica dell'IA, sulla sicurezza nazionale e sui modelli che plasmano entrambi, leggi altre notizie sull'IA.