L’armée américaine a été plus proche d’une confrontation directe avec la Chine que presque personne ne l’imaginait ce printemps – et selon une exclusivité de CNN publiée vendredi, une hallucination de l’IA en était la raison.

Le rapport détaille comment un document de renseignement généré à l'aide d'un chatbot a déclenché une chaîne d'événements qui ont armé le personnel américain se préparant à monter à bord d'un navire chinois au Moyen-Orient, pensant que le navire transportait des composants d'un programme d'armes nucléaires. Des avions militaires étaient déjà dans les airs, selon des sources proches du dossier. Pour plus de contexte sur cette histoire, consultez notre plus d'articles sur l'IA.

La mission a été abandonnée juste avant l’interception prévue, lorsque les responsables ont approfondi le rapport et découvert que son affirmation centrale – celle qui avait mobilisé l’armée américaine – était fausse.

Une source proche de l'épisode a qualifié le rapport des services de renseignement transmis à CNN de "totalement faux". Cela a également, selon la source, « presque déclenché une guerre ». Toute opération américaine contre un navire chinois aurait pu dégénérer en un conflit armé entre les deux nations.

Comment la revendication d'un chatbot est devenue une opération militaire

L’épisode a commencé ce printemps, en pleine guerre avec l’Iran, lorsqu’un rapport des services de renseignement a commencé à circuler au sein de l’armée américaine. Le document affirmait qu’un navire chinois au Moyen-Orient transportait des composants d’un programme d’armes nucléaires, ce qui a immédiatement déclenché la sonnette d’alarme.

Selon CNN, le rapport a été rédigé par un analyste du commandement des opérations spéciales des États-Unis qui avait interrogé un chatbot sur les rapports de renseignement figurant sur le manifeste du navire – rapports provenant du commandement des opérations spéciales des États-Unis dans le Pacifique, basé à Hawaï. On ne sait toujours pas si le chatbot était un produit disponible dans le commerce ou un outil du gouvernement américain. Un ancien haut responsable américain familier avec les systèmes d'IA utilisés par les analystes militaires et du renseignement a offert à CNN une évaluation sans détour des offres internes du gouvernement : « Les outils internes ne sont pour la plupart que des copies de produits commerciaux portant du rouge à lèvres. »

Le chatbot a fusionné des renseignements open source avec des renseignements électromagnétiques secrets détenus par le gouvernement et est parvenu à sa conclusion fatidique concernant la cargaison du navire. L’analyste a ensuite utilisé l’IA une seconde fois pour regrouper les résultats dans un rapport de renseignement standard – auquel les responsables militaires sont habitués à faire confiance – et l’a diffusé.

Quatre sources proches de l'épisode ont parlé à CNN. Selon deux d’entre eux, des membres armés de l’armée américaine s’apprêtaient à monter à bord du navire lorsque le reportage s’est effondré. CNN n’a pas été en mesure de savoir quelle était réellement la cargaison mal identifiée. Le Commandement des opérations spéciales des États-Unis dans le Pacifique et le Pentagone n'ont pas répondu à la demande de commentaires de CNN.

Une stratégie d'accélération à la rencontre de la réalité

Ce quasi-accident survient à un moment où le Pentagone s’efforce d’intégrer l’IA dans presque toutes les facettes de son travail : analyser d’énormes volumes de renseignements bruts, sélectionner des cibles pour les frappes et gérer des tâches plus banales comme la budgétisation, la logistique et les chaînes d’approvisionnement.

En janvier, le secrétaire à la Défense, Pete Hegseth, a publié la « Stratégie d'accélération de l'intelligence artificielle » du ministère, dans le but d'accélérer l'adoption de l'IA militaire.

"Nous allons lancer l'expérimentation, éliminer les barrières bureaucratiques, concentrer nos investissements et démontrer l'approche d'exécution nécessaire pour garantir que nous sommes leader en matière d'IA militaire", a déclaré Hegseth dans un discours annonçant la stratégie.

Le mémo qui l'accompagne va plus loin, ordonnant au département de rendre l'IA disponible à travers plusieurs programmes dans le but de « démocratiser l'expérimentation et la transformation de l'IA dans l'ensemble du département en mettant les modèles d'IA américains de pointe directement entre les mains de nos trois millions de personnels civils et militaires, à tous les niveaux de classification ».

Mais l’effort est décentralisé, ont déclaré à CNN plusieurs responsables américains, différentes parties du gouvernement utilisant différents outils selon des ordres et des normes de sécurité différents. Il n’existe pas d’ensemble unique de normes pour vérifier les informations générées par ces outils, et la fiabilité des différents systèmes varie considérablement.

Le ciblage est là où réside le risque

Les analystes craignent depuis longtemps que l’IA puisse contribuer à une erreur de calcul catastrophique si les États-nations agissent sur la base de données médiocres ou corrompues. L’épisode du navire chinois est un cas documenté de la formation exacte de ce mode de défaillance en temps réel – et de l’incapacité des mesures de protection à le détecter jusqu’au dernier moment.

"L'IA dans le ciblage est définitivement quelque chose qui prend de l'ampleur, et il n'existe pas de véritable indication sur la manière dont le fait d'avoir un humain dans la boucle permettra d'éviter des pertes civiles ou des fratricides", a déclaré à CNN une autre source proche des politiques militaires actuelles.

Selon le reportage de CNN, le type d'hallucination qui a donné lieu à cette fausse affirmation n'est pas un incident isolé au sein de la communauté du renseignement depuis que les outils d'IA ont commencé à proliférer au sein du gouvernement. Plusieurs sources pointent également un risque culturel : les jeunes analystes, décrits comme natifs de ces outils, sont plus susceptibles de leur faire confiance sans réserve, et la pression de produire des renseignements plus rapidement laisse plus de place à l’erreur.

"L'IA vous permet de trouver une mauvaise idée plus rapidement", a déclaré une source.

Un risque plus immédiat que la superintelligence

Depuis des semaines, Washington est plongé dans un débat sur les risques à long terme liés à l’IA, à la suite d’une série d’avertissements publics désastreux de la part d’ingénieurs et de responsables technologiques de la Silicon Valley concernant des systèmes susceptibles de s’affranchir des contraintes humaines. Le rapport de CNN souligne un danger différent et plus immédiat : des êtres humains prenant des décisions désastreuses basées sur des résultats inexacts ou trompeurs de l’IA – en ce moment même, au milieu de réelles tensions géopolitiques.

Aucun coup de feu n'a été tiré ce printemps et l'abordage n'a jamais eu lieu. Mais cet épisode constitue l’exemple le plus clair à ce jour que les erreurs générées par les machines, une fois blanchies dans les rapports officiels, peuvent se propager à travers l’appareil militaire le plus puissant du monde jusqu’au bord d’un conflit armé entre puissances nucléaires – sans aucune norme de vérification permanente en place pour arrêter le prochain.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →