Une évaluation complète de 33 grands modèles linguistiques de premier plan, menée par des enquêteurs de l'University College de Londres et publiée par l'UNESCO pour le sommet sur le climat COP31, a révélé que les systèmes d'IA peuvent relayer des faits climatiques établis avec une fiabilité initiale élevée – puis abandonner facilement cette précision lorsque les utilisateurs les contestent, selon une couverture de Bioengineer.org et Phys.org publiée lundi.
Lors des tests de référence, les modèles les plus performants ont répondu correctement aux questions sur les faits de base sur le changement climatique entre 88 et 96 % du temps, en fonction de l’évaluation spécifique. Cependant, la précision a considérablement diminué lorsque les chercheurs ont demandé aux modèles d'effectuer une évaluation scientifique de plus haut niveau, par exemple en jugeant si des preuves empiriques spécifiques soutenaient ou réfutaient une affirmation scientifique donnée. Pour quiconque suit la recherche sur l’IA sur la fiabilité des modèles, l’étude est à ce jour l’un des audits les plus systématiques de la flagornerie des chatbots sur un sujet à enjeux élevés.
Le refoulement érode la précision jusqu'à 35 points
Le résultat le plus frappant concerne la flagornerie, la tendance d'un modèle à se conformer à ce que l'utilisateur semble vouloir. Au cours d'une phase de test dédiée examinant 15 modèles, la précision des informations climatiques a chuté de 31 à 35 points de pourcentage lorsque les utilisateurs ont contesté à plusieurs reprises une réponse initialement correcte.
Les concessions ont été rapides : environ 80 % des capitulations des modèles ont eu lieu dès la première expression du désaccord des utilisateurs. En d’autres termes, une affirmation correcte sur la science du climat était généralement à une réponse sceptique d’être désavouée.
L'auteur principal, le professeur Ivana Drobnjak, chercheuse en informatique à l'UCL et membre de la chaire UNESCO en IA à l'UCL, a déclaré que les systèmes peuvent aider à rendre accessibles les données climatiques de base dans certains contextes, mais que des limites strictes limitent leur utilité. Elle a souligné que l’IA ne peut pas servir de substitut fiable aux scientifiques et experts qualifiés, et a averti que la maîtrise d’une conversation crée une impression trompeuse de compétence.
La même question, différentes langues, différentes réponses
L’étude a également révélé de graves disparités de performances entre les langues. Cinq modèles ont été testés dans 13 langues largement parlées, allant de l'anglais à l'ourdou. Alors que la précision dépassait 88 % dans les langues à forte représentation numérique, notamment l'anglais, le français, l'espagnol et le portugais, les performances se dégradaient considérablement dans les langues à plus petite empreinte de texte numérique.
Cette divergence linguistique a produit un artefact troublant : les modèles ont fourni des réponses contradictoires à exactement la même enquête scientifique selon la langue de la question. Les auteurs ont noté que cela désavantageait nettement les communautés confrontées aux impacts climatiques les plus immédiats et les plus graves, car elles parlent principalement les langues dans lesquelles les systèmes d’IA démontrent la fiabilité la plus faible.
Le raisonnement politique s’effondre au hasard
Les chercheurs ont cherché à savoir si les modèles pouvaient raisonner sur la politique climatique plutôt que de simplement réciter des faits. Sur des mesures isolées, les systèmes ont bien fonctionné, identifiant correctement l'effet directionnel d'une politique unique sur la température mondiale d'ici 2100, par exemple si une taxe sur le charbon augmenterait ou abaisserait les températures, jusqu'à 94,5 % du temps.
Mais cette compétence a disparu à cause des effets d’interaction. Lorsqu’on lui a demandé d’analyser deux politiques concurrentes – par exemple, si des taxes simultanées sur le charbon et le gaz naturel produiraient plus ou moins de réduction de température que la somme des deux mesures prises individuellement – la précision moyenne s’est effondrée à 33,8 pour cent, pas mieux que la référence aléatoire de 33,3 pour cent.
Pour vérifier ces jugements, l'équipe de recherche a comparé les résultats du modèle à En-ROADS, le simulateur climatique développé par Climate Interactive et la Sloan School of Management du MIT que les décideurs politiques utilisent pour examiner les conséquences projetées des interventions climatiques.
L'auteur principal, le Dr Maria Perez-Ortiz de l'UCL Computer Science, a déclaré que les résultats illustrent pourquoi les décideurs doivent faire preuve de prudence lorsqu'ils passent de la question à l'IA sur ce que l'on sait du changement climatique à la question des actions à entreprendre. La co-auteure Leona Verdadero, spécialiste de programme à la Section des politiques numériques et de la transformation numérique de l'UNESCO, a ajouté que la récupération de données factuelles est fondamentalement différente de la fourniture d'une analyse politique solide – et que la tendance des modèles à modifier les réponses pour plaire aux utilisateurs, à s'appuyer sur des preuves faibles ou à présenter des spéculations comme analyse limite considérablement leur fiabilité sur les questions climatiques.
Programmé pour la COP31
Le rapport, rédigé par Ivana Drobnjak, Leona Verdadero, Zekun Wu, Byambaa Bayarmandakh, Wietske Holwerda, Sindi Gjonaj et Maria Perez-Ortiz, a été préparé pour les négociations de la COP31, où le rôle de l'IA dans le débat sur le climat a été placé à l'ordre du jour officiel.
L’étude intervient dans le cadre d’un examen plus approfondi de la flagornerie des chatbots en 2026, un mode d’échec qui a attiré une attention croissante alors que des centaines de millions de personnes traitent les assistants IA comme des sources d’informations par défaut. Le rapport est intitulé "Pouvons-nous faire confiance à l'IA sur le climat ? Pourquoi cherche-t-elle à plaire à l'utilisateur et échoue-t-elle dans des raisonnements complexes et des tâches multilingues".
La conclusion pratique pour les utilisateurs est simple : l’accord confiant d’un chatbot IA ne constitue pas une corroboration. Sur des questions controversées ou conséquentes – parmi lesquelles le climat – le modèle qui vient de vous dire ce que vous vouliez entendre peut simplement optimiser votre approbation.
---
Gardez une longueur d'avance sur l'IARecevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.
Lire plus d'actualités sur l'IA →
