Les modèles linguistiques de l'intelligence artificielle sont dangereusement sensibles à des changements subtils dans la façon dont les options sont présentées, répondant aux coups de pouce trompeurs beaucoup plus fortement que les humains, selon une nouvelle étude publiée dans les Actes de l'Académie nationale des sciences.

Les résultats soulèvent de sérieuses inquiétudes quant au déploiement d’agents d’IA pour une prise de décision autonome dans des scénarios réels, depuis les transactions financières jusqu’aux choix de soins de santé. Comme AI Buzz Wire l'a rapporté, les entreprises positionnent de plus en plus d'agents basés sur LLM pour qu'ils agissent au nom des utilisateurs dans des environnements complexes.

L'étude, dirigée par Manuel Cherep, doctorant au Media Lab du Massachusetts Institute of Technology, a testé 14 modèles linguistiques de pointe provenant de grandes entreprises technologiques. Les modèles testés comprenaient des versions des familles GPT-3.5, GPT-4 et GPT-5 d'OpenAI, les modèles Claude 3 et 4.5 d'Anthropic et les modèles Gemini 1.5 et 2.5 de Google.

Comment s'est déroulée l'étude

Les chercheurs ont adapté un jeu de prise de décision multi-attributs initialement conçu pour les participants humains. Le jeu présente une grille numérique représentant des paniers de prix cachés, dans le but de maximiser la récompense finale en choisissant le panier ayant la valeur en points la plus élevée. Chaque cellule révèle des points de coûts, obligeant les participants à équilibrer le coût de la collecte d'informations et l'avantage de trouver un meilleur panier.

Les chercheurs ont converti ce jeu visuel en un format textuel que les modèles de langage pourraient traiter. Les modèles d’IA ont effectué des centaines d’essais dans différentes conditions d’incitation. Certains ont reçu des instructions de base, d’autres ont reçu des invites encourageant une logique étape par étape, et d’autres ont vu des exemples de gameplay humain. Pour chaque type de coup de pouce, les chercheurs ont effectué environ 300 à 340 essais par modèle, consommant environ deux milliards de jetons de texte au total.

Quatre types de nudges testés

L'étude a examiné quatre types spécifiques de nudges conçus pour imiter les environnements décisionnels du monde réel :

  • Nudges par défaut : un panier était présélectionné et l'agent devait l'accepter ou le rejeter activement.
  • Suggestions de coup de pouce : un panier aléatoire a été recommandé tôt ou tard dans la partie.
  • Mise en évidence des informations : il est devenu moins coûteux de révéler certaines valeurs de prix, orientant potentiellement l'agent vers des choix sous-optimaux.
  • Nudges optimaux : des cellules spécifiques ont été pré-révélées pour maximiser mathématiquement les performances d'un joueur humain.

Taux de conformité alarmants

Les résultats ont révélé des différences spectaculaires entre le comportement décisionnel des humains et celui de l’IA.

Lorsqu’on leur présente une option par défaut, les humains choisissent celle par défaut environ 88 % du temps. Les modèles linguistiques étaient nettement plus conformes, plusieurs modèles acceptant le panier par défaut dans 99 à 100 % des cas.

Ce modèle a persisté avec des suggestions. Les humains ont accepté des paniers suggérés au hasard au début du jeu dans 35 % des cas. De nombreux modèles d’IA ont accepté ces suggestions aléatoires à des taux beaucoup plus élevés, suivant les conseils même lorsqu’ils n’offraient aucun avantage logique.

Le timing des suggestions a également manipulé les modèles de manière peu naturelle. Alors que les humains suivaient les suggestions tardives 25 % du temps, certains modèles de langage ont chuté leur taux d'acceptation entre 7 et 13 %. Cela implique que les modèles réagissaient strictement au timing du signal plutôt que d’évaluer son utilité réelle.

Le plus inquiétant peut-être est que lorsque les chercheurs ont mis en évidence des choix sous-optimaux en mettant en évidence des informations, les humains ont utilisé ces informations trompeuses dans 57 % des cas. La plupart des modèles d’IA testés ont considérablement dépassé cette valeur de référence, suivant le mauvais point culminant dans 83 à 100 % des cas.

Problèmes cachés derrière de bons scores

Les chercheurs ont également suivi la manière dont les modèles rassemblaient des informations avant de faire un choix final. Les humains ont tendance à révéler juste assez de cellules pour faire une supposition éclairée. Les modèles linguistiques ont acquis des informations de manière très inhabituelle et inefficace.

Certains modèles ont choisi des paniers sans révéler aucune cellule cachée, ignorant complètement la possibilité de collecter des données. D'autres modèles ont dépensé trop de points pour révéler des lignes ou des colonnes entières, gaspillant ainsi leurs récompenses potentielles. Certains modèles affichaient d’étranges biais spatiaux, ne découvrant que les cellules situées à l’extrême gauche de la grille ou strictement le long des lignes diagonales.

Fournir aux modèles des invites de raisonnement étape par étape ou des exemples de gameplay humain n'a que très peu contribué à corriger ces étranges habitudes de recherche.

Les auteurs ont noté que le fait de se limiter aux scores finaux peut masquer ces problèmes sous-jacents. Dans certains essais, les modèles d’IA ont gagné un nombre de points nets similaire à celui des joueurs humains. Un observateur occasionnel vérifiant uniquement le score final pourrait supposer que les modèles faisaient des choix intelligents, semblables à ceux des humains. En réalité, les modèles obtenaient souvent ces scores grâce à une conformité aveugle plutôt qu’à une réflexion stratégique.

Si un coup de pouce pointait vers un bon panier, l’IA trop conforme obtenait de bons résultats. Lorsque le coup de pouce indiquait un mauvais panier, l'IA le suivait aveuglément vers un score inférieur, manquant complètement le but du jeu.

Implications pour le déploiement d'agents IA

"De nombreuses applications d'agents d'IA supposent tacitement que, en cas d'incertitude, ils réagiront de manière à peu près semblable à celle des humains, voire de manière plus rationnelle", a déclaré Cherep. "Au lieu d'accepter cette hypothèse, nous avons décidé d'explorer comment les agents se comportent lorsque des choix leur sont présentés de différentes manières."

Les résultats de l'étude ont des implications significatives pour le marché en croissance rapide des agents d'IA conçus pour naviguer sur le Web, utiliser des outils et prendre des décisions financières ou d'achat pour les utilisateurs. Si ces agents suivent aveuglément les options, suggestions ou informations mises en évidence par défaut sans évaluation critique, ils pourraient être facilement manipulés par de mauvais acteurs ou des interfaces mal conçues.

La recherche suggère que les modèles linguistiques actuels ne possèdent pas la rationalité limitée qui guide la prise de décision humaine. Alors que les humains utilisent des raccourcis mentaux pour équilibrer le coût de la collecte d’informations et la récompense d’un bon choix, les modèles d’IA ne partagent pas ces contraintes biologiques, mais ils présentent leur propre forme d’irrationalité, sans doute plus extrême et moins prévisible.

Gardez une longueur d'avance sur l'IA

Pour plus d’informations et d’analyses de dernière minute sur l’IA, visitez AI Buzz Wire.

Lire plus d'actualités sur l'IA →