Demandez au mode AI de Google qui a remporté l'élection présidentielle de 2020 et, pour de nombreux utilisateurs, la réponse est un haussement d'épaules sous forme de texte. Plutôt que de nommer un gagnant, l'expérience de recherche basée sur l'IA a incité les gens à consulter le rapport officiel de la Commission électorale fédérale. Ce comportement étrange, détaillé pour la première fois par Ars Technica, a attiré suffisamment d'attention pour que Google le reconnaisse désormais comme une lacune technique qu'il s'efforce de combler, moins de deux semaines avant les élections américaines de mi-mandat.

Cet épisode est un rappel utile que les produits de recherche d'IA peuvent échouer de manière étrange, même sur des faits historiques établis, et que rester au courant des développements de l'IA signifie de plus en plus suivre non seulement les lancements de modèles, mais aussi la manière dont ces systèmes se comportent sous la pression politique.

Ce que les tests d'Ars Technica ont trouvé

Lorsqu'un journaliste d'Ars Technica a posé la question directe au mode IA de Google, la réponse a été étonnamment indirecte : pour examiner les résultats officiels et les statistiques de l'élection présidentielle américaine de 2020, y compris la répartition finale du collège électoral, le décompte des votes populaires et la certification des vainqueurs, l'outil a recommandé de consulter le rapport officiel compilé par la FEC.

L'esquive n'était pas cohérente. Les tests ont montré des réponses indirectes similaires pour les élections de 2024 et 2012, tandis que le mode IA a donné des réponses détaillées et correctes pour toutes les autres élections présidentielles remontant à 2000. Différents membres du personnel d'Ars ont constaté des tendances différentes, l'un d'eux obtenant des réponses immédiates uniquement pour les élections de 2016 et 2024 et des liens vers des données externes pour tout le reste.

Les questions d’histoire politique au-delà des élections présidentielles ont également été touchées. Lorsqu'on lui a demandé quel parti contrôlait le Sénat après les élections de 2020, AI Mode a demandé au journaliste de vérifier les archives officielles du Congrès et de créer un lien vers la page historique des divisions des partis du Sénat. Lorsqu'on lui a posé la même question à propos des élections de 1992, il a répondu directement que les démocrates détenaient une majorité de 57 voix contre 43.

D'autres chatbots répondent sans hésitation

Le modèle Gemini de Google, distinct du mode AI, a répondu à la question sans problème, selon le rapport. Il en a été de même pour ChatGPT d'OpenAI, Claude d'Anthropic et même le modèle d'IA géré par le gouvernement sur America.gov. Cette distinction est importante, car elle suggère que le problème réside dans la manière dont les protections de la couche de recherche d'AI Mode gèrent les requêtes électorales plutôt que dans la connaissance du modèle linguistique sous-jacent.

Le comportement a également changé avec la géographie. Les contrôles ponctuels d'Ars Technica via les VPN à Taiwan, en Russie, en France et au Canada ont tous donné des réponses précises et simples sur les récents résultats des élections américaines, ce qui implique que le traitement restrictif est spécifique aux utilisateurs aux États-Unis.

Réponse de Google : une lacune technique

Un porte-parole de Google a d'abord souligné une publication sur les réseaux sociaux reconnaissant que l'application Gemini répondait plus complètement à la question et que la réponse d'AI Mode n'était pas la plus utile, ajoutant que l'entreprise étudiait la question. Le porte-parole a ensuite donné une explication plus concrète, déclarant à Ars Technica que Google résolvait le problème avec les requêtes électorales de 2020 en mode IA. Selon le porte-parole, les systèmes de Google vérifient les réponses électorales à l'aide d'articles de presse ou de données AP pour les élections récentes et des enregistrements historiques pour les plus anciennes, et il y avait un écart technique avec 2020, et il en va de même pour les élections sénatoriales de 2022, que la société s'efforce de corriger dans la même mise à jour.

Un aspect intéressant des tests : la persévérance a payé. Lorsque les mêmes questions ont été posées une deuxième fois, AI Mode a directement indiqué le gagnant, en citant les données de Google Civics. Lorsqu'on lui a demandé pourquoi il n'avait pas répondu initialement, l'outil a blâmé les filtres de sécurité stricts pour les sujets électoraux récents et très sensibles et a décrit un système fortement automatisé qui achemine ces requêtes vers des bases de données officielles certifiées du gouvernement pour éviter tout risque d'affichage de données non vérifiées ou de désinformation. Comme le note Ars Technica, les modèles d’IA sont des narrateurs peu fiables de leurs propres processus internes, cette explication mérite donc une certaine prudence.

Pourquoi les réponses électorales sont difficiles pour la recherche par l'IA

Google n’a pas tort de considérer les requêtes électorales comme des enjeux importants. Les systèmes de recherche générative peuvent halluciner, et la désinformation électorale est un problème documenté sur lequel les plateformes sont tombées à plusieurs reprises. En 2023, YouTube, propriété de Google, a annulé une politique interdisant toutes les vidéos faisant de fausses déclarations sur les élections de 2020, affirmant que les suppressions pourraient restreindre le discours politique sans réduire de manière significative les dommages réels.

La position publique actuelle de l'entreprise met l'accent sur la diffusion d'informations électorales faisant autorité directement dans les résultats, y compris des liens directs vers des ressources officielles, selon sa page de politique publique électorale et un article de blog de septembre visant à aider les électeurs à trouver des informations fiables à mi-mandat. L’incident du mode AI montre l’écart entre cette politique et le comportement sur le terrain d’un système automatisé : en essayant d’éviter de dire quelque chose de mal, il a fini par refuser de dire quelque chose de réglé.

À l’approche des élections de mi-mandat, l’épisode illustre la ligne fine que les produits d’IA parcourent pendant les élections. Le blocage excessif des réponses factuelles frustre les utilisateurs et peut éroder la confiance tout aussi sûrement que les erreurs, et une esquive qui varie selon l'utilisateur, le pays et la répétition est difficile à défendre en termes de sécurité ou d'exactitude. La mise à jour promise par Google montrera si le correctif rétablit les réponses directes de manière uniforme ou si les requêtes électorales en mode IA restent une loterie de filtres et de lacunes techniques.

Gardez une longueur d'avance sur l'IA

Pour une couverture continue de la politique en matière d'IA, du comportement de la plateforme et des systèmes qui façonnent l'information en ligne, suivez AI Buzz Wire pour les dernières nouvelles sur l'IA et des analyses indépendantes.

Lisez plus d'actualités sur l'IA sur AI Buzz Wire