Les principaux chatbots d'IA donnent le plus souvent de mauvaises réponses aux questions financières, selon un nouveau rapport de recherche de la fintech britannique Saturn qui a testé 18 des modèles d'IA les plus populaires et a trouvé un taux d'erreur moyen de 57 %, a rapporté lundi le Financial Times.

Le rapport, intitulé « Autorité artificielle », arrive alors que des millions de consommateurs se tournent de plus en plus vers les chatbots pour obtenir des conseils sur les retraites, les impôts, la dette et l'épargne – des questions pour lesquelles une seule mauvaise réponse peut entraîner de réelles conséquences financières. Alors que les assistants à usage général sont poussés vers un territoire réglementé, des études comme celle-ci deviennent un test de résistance récurrent des promesses du secteur aux consommateurs, et nous continuerons à suivre les derniers développements de l'IA à mesure que les régulateurs réagiront.

Comment le test a fonctionné

L'équipe de domaine de Saturn a soumis 18 des modèles d'IA les plus utilisés à travers 121 questions couvrant les retraites, les impôts, la dette et l'épargne – les principaux domaines dans lesquels les consommateurs de détail recherchent le plus souvent des conseils. Les modèles testés comprenaient ChatGPT, Gemini, Claude et Copilot de Microsoft, selon le résumé publié du rapport.

En moyenne, les modèles ont commis des erreurs dans 57 % des cas, a déclaré Saturn. L'entreprise a présenté les conclusions comme couvrant "les erreurs liées à l'échec de la protection des consommateurs" et les a utilisées pour affirmer que le déficit de conseil au Royaume-Uni - l'écart entre les personnes qui peuvent accéder à des conseils financiers réglementés et ceux qui ne le peuvent pas - ne sera pas comblé par les seuls chatbots non réglementés.

Même le meilleur modèle se trompe fréquemment

Les résultats n’étaient pas uniformes, mais même les plus performants échouaient souvent. Selon le rapport du FT, le modèle le plus performant était le Claude Opus 5 d'Anthropic fonctionnant en mode raisonnement – ​​et il faisait encore des erreurs dans 39 % des réponses.

Ce détail pourrait s’avérer être la conclusion la plus importante du rapport. Les modes de raisonnement, qui permettent aux modèles de délibérer avant de répondre, constituent la principale réponse du secteur aux hallucinations et aux erreurs, et les modèles frontières affichent régulièrement de bons résultats aux examens professionnels en finance et en droit. Un taux d’erreur de 39 % sur des questions financières pratiques suggère que les tests de référence de type examen et les requêtes réelles des consommateurs mesurent des choses très différentes.

Les conclusions ont également suscité des réactions. Les commentateurs de Hacker News ont remis en question la méthodologie et la sélection du modèle, notant que plusieurs exemples d'erreurs du rapport provenaient de modèles gratuits plus petits. Mais la moyenne de 57 % et le chiffre le plus élevé de 39 % correspondent aux affirmations publiées par Saturn et le FT, et l'avertissement central du rapport – selon lequel les consommateurs ne devraient pas traiter les résultats des chatbots comme des conseils réglementés – n'a pas été contesté.

Un avertissement que les régulateurs ont déjà entendu

Le rapport arrive au milieu d’un malaise officiel croissant concernant les chatbots en matière d’argent. Les consommateurs britanniques ont déjà été mis en garde contre les chatbots IA donnant des conseils financiers inexacts dans une alerte largement relayée publiée par The Guardian fin 2025, et les régulateurs financiers en Europe et aux États-Unis ont depuis signalé les conseils générés par l’IA comme un domaine émergent à risque pour les consommateurs.

La position de Saturn confère au rapport un avantage particulier : la société développe des outils d'IA pour le conseil financier, et elle a publié les résultats non pas comme un rejet de l'IA dans la finance, mais comme un argument en faveur de la mise en place de bonnes garde-fous. Son argument est que les chatbots mal gouvernés comblent déjà le manque de conseils par défaut et que le choix auquel sont confrontés les régulateurs se situe entre le guidage supervisé par l’IA et le guidage non supervisé par l’IA – et non entre l’IA et les conseils humains.

La contribution de Saturn à ce débat est un argument sur la conception des politiques : la société affirme qu'un passage de ce qu'elle appelle une réglementation excessive à la mise en place de garde-fous pratiques sur de grands modèles de langage réduirait plus rapidement l'écart en matière de conseils tout en protégeant les gens des conseils non réglementés de l'IA. En d’autres termes, plutôt que d’exclure complètement l’IA des conseils financiers, construisez des déploiements supervisés et contraints qui peuvent servir en toute sécurité des clients pour lesquels les conseillers humains sont trop coûteux à atteindre.

Ce cadre est important car le manque de conseils est la justification la plus solide de l'industrie pour être présente dans cet espace. Au Royaume-Uni, la plupart des ménages se situent en dehors du seuil à partir duquel les conseils financiers réglementés sont considérés comme économiquement viables, ce qui correspond précisément à la population qui interroge désormais les chatbots sur les retraites et les dettes.

Ce que les consommateurs devraient retenir

Jusqu’à ce que les modèles s’améliorent ou que les régulateurs interviennent, les conseils pratiques issus de la recherche sont simples :

  • Traitez les réponses des chatbots sur la fiscalité, les retraites, la dette et l'épargne comme un point de départ pour la recherche, et non comme un conseil.
  • Vérifier tout chiffre spécifique — seuils, taux, allocations — par rapport à une source officielle avant d'agir en conséquence.
  • Soyez particulièrement prudent avec les modèles gratuits, qui peuvent être plus anciens ou plus petits que les versions phares promues par un laboratoire.
  • Pour les décisions conséquentes, un conseiller humain réglementé reste le seul canal auquel est attachée une responsabilité juridique.

La question plus large soulevée par le rapport est celle à laquelle l’industrie de l’IA sera confrontée à plusieurs reprises en 2026 : les capacités qui impressionnent dans les démonstrations et les tests de référence peuvent encore être en deçà de la barre de fiabilité exigée par les domaines réglementés. Le conseil financier est tout simplement le premier domaine dans lequel cet écart a été quantifié de manière aussi frappante.

Gardez une longueur d'avance sur l'IA

Suivre la manière dont l’IA remodèle la finance, la recherche et la réglementation ? Lisez plus d'actualités sur l'IA sur AI Buzz Wire — couverture indépendante de l'IA, chaque jour.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →