Chiedi alla modalità AI di Google chi ha vinto le elezioni presidenziali del 2020 e, per molti utenti, la risposta è un'alzata di spalle in forma di testo. Invece di nominare un vincitore, l’esperienza di ricerca basata sull’intelligenza artificiale ha indirizzato le persone a consultare il rapporto ufficiale della Commissione elettorale federale. Lo strano comportamento, descritto per la prima volta da Ars Technica, ha attirato abbastanza attenzione tanto che Google ora lo riconosce come un divario tecnico che sta lavorando per colmare, a meno di due settimane dalle elezioni di medio termine statunitensi.
L’episodio è un utile promemoria del fatto che i prodotti di ricerca basati sull’intelligenza artificiale possono fallire in modi strani anche sulla base di fatti storici consolidati, e che rimanere aggiornati sugli sviluppi dell’intelligenza artificiale significa sempre più monitorare non solo il lancio dei modelli, ma anche il modo in cui questi sistemi si comportano sotto pressione politica.
Cosa hanno scoperto i test di Ars Technica
Quando un giornalista di Ars Technica ha posto la domanda diretta alla modalità AI di Google, la risposta è stata sorprendentemente indiretta: per rivedere i risultati ufficiali e le statistiche delle elezioni presidenziali degli Stati Uniti del 2020, inclusa la ripartizione finale del collegio elettorale, il conteggio dei voti popolari e la certificazione dei vincitori, lo strumento consiglia di consultare il rapporto ufficiale compilato dalla FEC.
La schivata non era coerente. I test hanno mostrato risposte indirette simili per le elezioni del 2024 e del 2012, mentre la modalità AI ha fornito risposte dettagliate e corrette per ogni altra elezione presidenziale a partire dal 2000. Diversi membri dello staff di Ars hanno riscontrato modelli diversi, con uno che ha ottenuto risposte immediate solo per le gare del 2016 e del 2024 e collegamenti a dati esterni per tutto il resto.
Anche le questioni di storia politica al di là delle gare presidenziali sono state influenzate. Alla domanda su quale partito controllasse il Senato dopo le elezioni del 2020, AI Mode ha detto al giornalista di controllare i registri ufficiali del Congresso e di collegarsi alla pagina della cronologia della divisione dei partiti del Senato. Alla stessa domanda sulle elezioni del 1992, ha risposto direttamente che i democratici avevano una maggioranza di 57 a 43.
Altri chatbot rispondono senza esitazione
Secondo il rapporto, il modello Gemini di Google, separato dalla modalità AI, ha risposto alla domanda senza problemi. Lo stesso hanno fatto ChatGPT di OpenAI, Claude di Anthropic e persino il modello di intelligenza artificiale gestito dal governo su America.gov. Questa distinzione è importante, perché suggerisce che il problema risiede nel modo in cui le garanzie del livello di ricerca della modalità AI gestiscono le query elettorali piuttosto che nella conoscenza del modello linguistico sottostante.
Il comportamento è cambiato anche con la geografia. I controlli a campione di Ars Technica tramite VPN a Taiwan, Russia, Francia e Canada hanno tutti restituito risposte precise e dirette sui recenti risultati elettorali statunitensi, il che implica che la gestione restrittiva è specifica per gli utenti negli Stati Uniti.
La risposta di Google: una lacuna tecnica
Un portavoce di Google ha inizialmente indicato un post sui social media in cui riconosceva che l'app Gemini risponde alla domanda in modo più completo e che la risposta di AI Mode non è stata delle più utili, aggiungendo che la società la stava esaminando. Il portavoce ha poi fornito una spiegazione più concreta, dicendo ad Ars Technica che Google sta risolvendo il problema con le query sulle elezioni del 2020 in modalità AI. Secondo il portavoce, i sistemi di Google verificano le risposte elettorali utilizzando articoli di notizie o dati AP per le elezioni recenti e record storici per quelle più vecchie, e c'è stato un divario tecnico con il 2020, lo stesso vale per le gare al Senato del 2022, che la società sta lavorando per risolvere nello stesso aggiornamento.
Una cosa interessante emersa dai test: la tenacia ha dato i suoi frutti. Quando le stesse domande sono state poste una seconda volta, AI Mode ha fornito direttamente il vincitore, citando i dati di Google Civics. Alla domanda sul perché inizialmente non avesse risposto, lo strumento ha attribuito la colpa a severi filtri di sicurezza per argomenti elettorali recenti e altamente sensibili e ha descritto un sistema fortemente automatizzato che indirizza tali domande a database governativi ufficiali certificati per prevenire qualsiasi rischio di visualizzazione di dati non verificati o disinformazione. Come osserva Ars Technica, i modelli di intelligenza artificiale sono narratori inaffidabili dei propri processi interni, quindi questa spiegazione merita una certa cautela.
Perché le risposte alle elezioni sono difficili per la ricerca basata sull'intelligenza artificiale
Google non ha torto nel trattare le domande elettorali come una posta in gioco alta. I sistemi di ricerca generativa possono creare allucinazioni e la disinformazione elettorale è un problema documentato su cui le piattaforme si sono imbattute ripetutamente. Nel 2023, YouTube, di proprietà di Google, ha annullato una politica che vietava a tutti i video di fare false affermazioni sulle elezioni del 2020, affermando che le rimozioni potrebbero limitare il discorso politico senza ridurre significativamente i danni nel mondo reale.
L'attuale atteggiamento pubblico dell'azienda enfatizza la pubblicazione di informazioni elettorali autorevoli direttamente all'interno dei risultati, inclusi collegamenti diretti a risorse ufficiali, secondo la sua pagina sulla politica pubblica elettorale e un post sul blog di settembre su come aiutare gli elettori a trovare informazioni affidabili sulle elezioni di medio termine. L’incidente dell’AI Mode mostra il divario tra quella politica e il comportamento sul campo di un sistema automatizzato: nel tentativo di evitare di dire qualcosa di sbagliato, ha finito per rifiutarsi di dire qualcosa di stabilito.
Con le elezioni di metà mandato imminenti, l'episodio illustra la linea sottile che i prodotti di intelligenza artificiale camminano durante le elezioni. Bloccare eccessivamente le risposte basate sui fatti frustra gli utenti e può minare la fiducia proprio come fanno gli errori, e un elusione che varia in base all’utente, al paese e alla ripetizione è difficile da difendere sia in termini di sicurezza che di accuratezza. L'aggiornamento promesso da Google mostrerà se la correzione ripristina le risposte dirette in modo uniforme o se le domande elettorali in modalità AI rimangono una lotteria di filtri e lacune tecniche.
Stai al passo con l'intelligenza artificiale
Per una copertura continua delle politiche sull'intelligenza artificiale, del comportamento della piattaforma e dei sistemi che danno forma alle informazioni online, segui AI Buzz Wire per le ultime notizie sull'intelligenza artificiale e analisi indipendenti.
Leggi altre notizie sull'intelligenza artificiale su AI Buzz Wire
