L’armée américaine a failli arraisonner un navire chinois à cause d’un rapport de renseignement halluciné par l’IA

L'armée américaine a failli intercepter un navire chinois sur la base d'un rapport de renseignement généré à l'aide d'un chatbot IA et qui s'est révélé entièrement faux, selon une exclusivité de CNN publiée jeudi.

L’épisode, décrit à CNN par quatre sources proches du dossier, a commencé plus tôt ce printemps – en pleine guerre avec l’Iran – lorsqu’un rapport a circulé dans l’armée américaine affirmant qu’un navire chinois au Moyen-Orient transportait des composants d’un programme d’armes nucléaires. Le rapport a immédiatement déclenché la sonnette d’alarme et l’armée est passée à l’action avec des plans pour intercepter le navire. Pour une couverture régulière d'histoires comme celle-ci, suivez AI news au fur et à mesure de son développement.

Avions dans les airs, équipe d'embarquement prête

Selon deux sources de CNN, des membres armés de l'armée américaine s'apprêtaient à monter à bord du navire. Des avions militaires étaient déjà dans les airs, a indiqué une source.

Ce n’est que juste avant l’opération prévue que les responsables ont approfondi le rapport – rédigé par un analyste du commandement des opérations spéciales – et ont découvert qu’il avait été généré à l’aide de l’intelligence artificielle et que le chatbot utilisé par l’analyste avait identifié de manière inexacte le matériel transporté par le navire. CNN a indiqué qu'elle n'était pas en mesure de savoir quelle était réellement la cargaison mal identifiée.

Une source a qualifié le rapport de « totalement faux ». Cela a également, selon la source, « presque déclenché une guerre » – puisque toute opération américaine contre un navire chinois aurait pu risquer de dégénérer en un conflit armé entre les deux nations.

Comment le faux rapport a été construit

L'analyste avait interrogé un chatbot sur les rapports de renseignement sur le manifeste du navire provenant du US Special Operations Command Pacific, basé à Hawaï. CNN a rapporté qu'il n'était pas clair si le chatbot était un produit disponible dans le commerce ou un outil du gouvernement américain.

Le robot a fusionné des renseignements open source avec des renseignements électromagnétiques secrets détenus par le gouvernement et est parvenu à sa conclusion fatidique concernant le matériel à bord du navire. L’analyste a ensuite utilisé l’IA une seconde fois – pour regrouper les résultats dans un rapport de renseignement standard, du genre auquel les responsables militaires font confiance – et l’a diffusé à travers le système.

Le Commandement des opérations spéciales des États-Unis dans le Pacifique et le Pentagone n'ont pas répondu à la demande de commentaires de CNN.

Une course militaire pour adopter l'IA

Ce quasi-accident survient à un moment où les responsables de l’armée et du renseignement américains s’efforcent d’intégrer l’IA dans presque toutes les facettes de leur travail – de l’analyse d’énormes volumes de renseignements bruts et de la sélection des cibles pour les frappes, jusqu’aux applications banales comme la budgétisation, la logistique et les chaînes d’approvisionnement.

En janvier, le secrétaire à la Défense, Pete Hegseth, a publié la « Stratégie d'accélération de l'intelligence artificielle » du ministère, destinée à accélérer l'adoption de l'IA par l'armée. "Nous allons lancer l'expérimentation, éliminer les barrières bureaucratiques, concentrer nos investissements et démontrer l'approche d'exécution nécessaire pour garantir que nous sommes leader en matière d'IA militaire", a déclaré Hegseth dans un discours annonçant la stratégie.

La stratégie appelle explicitement à démocratiser l’accès, ordonnant au ministère de mettre « les modèles d’IA américains de pointe directement entre les mains de nos trois millions de personnels civils et militaires, à tous les niveaux de classification ».

Pas d'ensemble de règles unique

Mais l’effort est décentralisé, ont déclaré à CNN plusieurs responsables américains, différentes parties du gouvernement utilisant différents outils selon des ordres et des normes de sécurité différents. Il n’existe pas de norme unique sur la manière dont les États-Unis vérifient les informations générées par ces outils, et la fiabilité des différents systèmes varie considérablement.

"Les outils internes ne sont pour la plupart que des copies de produits commerciaux portant du rouge à lèvres", a déclaré à CNN un ancien haut responsable américain familier avec les systèmes d'IA utilisés par les analystes militaires et du renseignement.

Le ciblage de l'IA s'accélère avec peu de conseils

Des sources ont indiqué que l’armée se tourne rapidement vers l’IA pour faciliter le ciblage – un domaine qui comporte un risque évident d’erreurs fatales. "L'IA dans le ciblage est définitivement quelque chose qui prend de l'ampleur et il n'y a pas de véritable indication sur la manière dont le fait d'avoir un humain dans la boucle permettra d'éviter des pertes civiles ou des fratricides", a déclaré à CNN une autre source proche des politiques militaires actuelles.

Les analystes préviennent depuis longtemps que l’IA pourrait contribuer à une erreur de calcul catastrophique si les États-nations s’appuient sur des données médiocres ou corrompues – précisément le genre d’erreur de calcul qui aurait pu conduire les États-Unis à tirer sur un navire chinois sur la base d’informations inexactes.

Selon CNN, le genre d’hallucination derrière le faux rapport du navire n’est pas un incident isolé au sein de la communauté du renseignement depuis que ces outils ont commencé à proliférer au sein du gouvernement.

'L'IA vous permet d'aboutir plus rapidement à une mauvaise idée'

Depuis des semaines, les décideurs politiques de Washington débattent intensément de l’IA à la suite d’une série d’avertissements désastreux de la Silicon Valley sur la possibilité que l’IA puisse s’affranchir des contraintes humaines. Mais l’épisode des navires chinois met en évidence un risque différent et plus immédiat : des êtres humains prenant des décisions désastreuses sur la base d’informations inexactes ou trompeuses générées par les systèmes d’IA.

Plusieurs sources ont déclaré à CNN que les jeunes analystes en particulier – natifs de ces outils – sont plus susceptibles de leur faire confiance sans réserve, et que l’IA a intensifié la pression sur les analystes pour qu’ils produisent et diffusent des renseignements plus rapidement, ouvrant ainsi la porte à des erreurs.

"L'IA vous permet de trouver une mauvaise idée plus rapidement", a déclaré l'une des sources.

Cet épisode est susceptible d’alimenter un débat déjà houleux sur la rapidité avec laquelle l’armée américaine devrait intégrer l’IA dans ses flux de travail les plus sensibles, et sur les étapes de vérification qui devraient être obligatoires avant que les reportages assistés par l’IA puissent déplacer les troupes, les avions et le personnel armé vers une éventuelle opération de combat. Pour l’instant, les détails suggèrent que les garanties existantes sont disparates – et que dans ce cas, la différence entre un rapport de renseignement de routine et un incident international revenait aux responsables qui ont effectué une double vérification.

Gardez une longueur d'avance sur l'IA

Pour plus d'informations sur la politique en matière d'IA, la sécurité nationale et les modèles qui les façonnent, lire plus d'actualités sur l'IA.