I principali modelli di intelligenza artificiale di Anthropic, OpenAI, Google, DeepSeek e altri laboratori possono essere manipolati per identificare potenziali obiettivi di attacco militare – inclusi civili e soldati che si arrendono – in immagini di droni e satellitari, e in molti casi è bastato dire ai modelli che stavano giocando, secondo un nuovo rapporto di ricerca della startup di valutazione dell’intelligenza artificiale Vals.

I risultati, riportati da TechCrunch, arrivano in un momento in cui il dibattito sull’intelligenza artificiale in guerra è passato da ipotetico a istituzionale. Anthropic all’inizio di quest’anno si è scontrata con il Dipartimento della Difesa sui limiti all’uso militare della sua tecnologia, e i governi di tutto il mondo stanno investendo in sistemi autonomi. Il rapporto suggerisce che le barriere di sicurezza che separano i chatbot commerciali dalle funzioni di supporto al combattimento sono più sottili di quanto lasciano intendere gli impegni pubblici del settore. La copertura continua degli sviluppi in materia di sicurezza ed etica dell'IA continua a monitorare la risposta dei laboratori.

Come funzionavano i test

Vals, una startup di valutazione dell’intelligenza artificiale con sede a San Francisco, ha testato se i principali modelli di intelligenza artificiale potessero essere manipolati per partecipare alla guerra autonoma. I ricercatori hanno costruito scenari simulati di campi di battaglia utilizzando una combinazione di immagini generate e reali provenienti da Ucraina e Iran, quindi hanno chiesto ai modelli di contrassegnare potenziali obiettivi nelle immagini dei droni e dei satelliti.

I modelli di OpenAI, Anthropic, Google, DeepSeek e altre società identificavano spesso potenziali obiettivi nelle immagini, inclusi civili e soldati che tentavano di arrendersi. Nessuna delle richieste dei ricercatori è stata bloccata da un classificatore di sicurezza e i rifiuti erano rari. Quando i modelli si rifiutavano di collaborare, i ricercatori spesso riuscivano a effettuare il jailbreak semplicemente sostenendo che gli scenari del campo di battaglia facevano parte di un gioco.

In alcuni scenari, ai modelli è stato chiesto di segnalare se le persone erano visibili nelle immagini. I rapporti positivi sono stati seguiti da attacchi simulati, il che significa che i modelli hanno osservato le conseguenze dei loro stessi rapporti target.

I modelli antropici hanno avuto i risultati peggiori

Forse il dettaglio più sorprendente: i modelli di intelligenza artificiale di Anthropic hanno ottenuto i risultati peggiori negli scenari simulati, anche se dal rapporto è chiaro che nessuno dei modelli testati ha funzionato particolarmente bene. L'atteggiamento difensivo dell'azienda nei confronti delle applicazioni militari non si è tradotto in una resistenza effettiva nelle condizioni di prova.

Un portavoce di Anthropic, Eduardo Maia Silva, ha detto a TechCrunch che la società apprezza il rapporto, le raccomandazioni e la collaborazione di Vals e ha riconosciuto che i risultati non erano accettabili. "Gli esempi nel rapporto sono chiaramente contrari alle nostre regole e abbiamo bandito e banneremo gli utenti quando vedremo questo comportamento", ha affermato la società in una nota. "Anche per gli ambienti autorizzati, Anthropic è da tempo ferma sul fatto che gli odierni sistemi di intelligenza artificiale di frontiera non sono sufficientemente affidabili per alimentare armi completamente autonome."

Anthropic ha dichiarato a TechCrunch che i suoi team stavano già sviluppando ulteriori misure di sicurezza prima della pubblicazione del rapporto, che tali misure saranno messe in atto presto e che la società sta espandendo i propri test e migliorando le misure di sicurezza e di applicazione per colmare eventuali lacune riscontrate.

Il portavoce di OpenAI Nate Evans ha affermato che la società vieta l'uso dei suoi modelli pubblici per facilitare la violenza o per scopi di sicurezza nazionale non approvati, compresi gli scenari simulati da Vals. "Rileviamo e interrompiamo attivamente gli abusi, anche sospendendo gli account che violano le nostre politiche", ha affermato la società in una dichiarazione inviata via email. "Stiamo inoltre sviluppando ulteriori garanzie per i nostri modelli pubblici contro l'uso improprio di droni e software per droni."

Lo stallo delle armi autonome

I risultati arrivano nel mezzo di una disputa irrisolta tra i laboratori di intelligenza artificiale e il Pentagono su come potrebbe essere utilizzata l’intelligenza artificiale militare. All’inizio di quest’anno, Anthropic aveva dichiarato al Dipartimento della Difesa che non poteva utilizzare la tecnologia dell’azienda per la sorveglianza di massa degli americani o per la guerra autonoma. Il CEO di Anthropic, Dario Amodei, ha insistito sul fatto che gli odierni sistemi di intelligenza artificiale non sono abbastanza affidabili per prendere decisioni di vita o di morte senza un essere umano nel circuito. Il Pentagono, da parte sua, ha sostenuto che dovrebbe essere in grado di utilizzare la tecnologia per qualsiasi scopo militare legittimo.

Il rapporto Vals aggrava la disputa: se si può convincere i modelli di livello consumer a segnare gli obiettivi con una cornice di gioco, la domanda è se le politiche aziendali da sole possano mantenere la linea che le salvaguardie tecniche attualmente non riescono a fare.

Avvertenze importanti

Il rapporto presenta limitazioni significative che impediscono di essere letto come prova del targeting dell’IA pronto per il campo di battaglia. Vals osserva che ai modelli non è mai stato chiesto di prendere direttamente decisioni sugli attacchi, un compito che secondo i ricercatori i modelli normalmente rifiutavano. Le sfide tecniche, tra cui la latenza e la limitata capacità di elaborazione a bordo, rendono anche difficile l’uso di modelli di intelligenza artificiale generici per il targeting di droni vivi, il che rende il dispiegamento di combattimento meno una minaccia immediata di quanto potrebbero suggerire i risultati grezzi.

Esiste anche una distinzione tra commerciale e militare. Il rapporto ha testato i modelli commerciali venduti al pubblico, non i laboratori di sistemi specializzati che potrebbero fornire ai clienti della difesa sotto contratto – e non è chiaro se le garanzie aggiuntive promesse dalle aziende si applicherebbero agli schieramenti militari.

Tuttavia, i ricercatori avvertono che i risultati potrebbero avere conseguenze disastrose nel mondo reale: le informazioni di targeting prodotte da un modello commerciale potrebbero essere utilizzate da sistemi d’arma autonomi, anche se il modello stesso non spara mai un colpo.

Cosa significa per la sicurezza dell'intelligenza artificiale

Il significato del rapporto non riguarda tanto il comportamento di ogni singolo modello quanto piuttosto il modello: nessuna richiesta è stata bloccata da un classificatore di sicurezza, i rifiuti sono stati rari e il jailbreak più efficace è stato infantile: far finta che la guerra fosse un gioco. Per un settore che ha messo in gioco la propria legittimità pubblica sostenendo che i modelli di frontiera rifiuteranno istruzioni dannose, si tratta di un dato scomodo.

Le risposte delle aziende saranno ora testate nella pratica: Anthropic afferma che nuove misure di salvaguardia sono imminenti e OpenAI afferma che sta costruendo protezioni contro l'uso improprio specifiche per i droni. Se queste misure sopravvivranno al contatto con il prossimo ciclo di ricerche di valutazione è la domanda che Vals – e sempre più anche i politici – si porranno.

---

Segui gli sviluppi sulla sicurezza dell'intelligenza artificiale

Ricerca, etica e politica: le storie sull'intelligenza artificiale che contano, aggiornate 24 ore su 24.

Leggi altre notizie sull'AI →