Passer seulement dix minutes à s'appuyer sur un outil d'IA altère considérablement la capacité d'une personne à se concentrer et à persister dans des tâches difficiles, selon une étude évaluée par des pairs présentée cette semaine à la Conférence sur la modélisation du langage (COLM).
L'article, intitulé "AI Assistance réduit la persistance et nuit aux performances indépendantes", a été co-écrit par l'écrivain et chercheur Brian Christian, chercheur au Centre UC Berkeley pour l'IA compatible avec l'homme, en collaboration avec des universitaires de l'Université Carnegie Mellon, du Massachusetts Institute of Technology, de l'Université d'Oxford et de l'UCLA. Une version antérieure du travail a circulé au printemps, mais la version mise à jour et évaluée par des pairs a été présentée lors de la conférence cette semaine, et le bureau de recherche de l'UC Berkeley a publié un résumé détaillé le 9 octobre. Pour plus de contexte sur cette histoire, consultez notre dernières avancées en IA.
Ce que les chercheurs ont trouvé
Pour mesurer la rapidité avec laquelle la concentration et la persévérance des gens ont diminué, l'équipe a mené une série d'essais contrôlés randomisés auprès de 1 222 participants recrutés en ligne.
Dans la première expérience, 354 participants ont dû résoudre 15 problèmes de fractions de base. Un groupe a travaillé sans aide, tandis qu'un deuxième groupe avait ChatGPT ouvert sur le côté et était libre de l'utiliser pour obtenir de l'aide – ou même pour demander des réponses. Le groupe ayant accès à l’IA a commencé avec plus de précision. Puis, après 12 problèmes, les chercheurs ont retiré l’outil. Presque immédiatement, la précision dans ce groupe s’est effondrée.
Le schéma s’est répété avec un deuxième groupe plus important de 667 participants. Lorsque l’assistance de l’IA a été retirée, les utilisateurs de l’IA ont obtenu des réponses erronées ou ont complètement abandonné, tandis que le groupe qui avait travaillé sans aide s’en est tenu à la tâche et a terminé avec plus de succès.
Une troisième expérience avec 201 participants a remplacé les problèmes mathématiques par une invite de compréhension de lecture SAT. Le résultat fait écho aux essais précédents : lorsque l’outil a disparu, la persévérance et la précision ont également disparu.
"On ne pouvait presque pas rêver d'une histoire plus claire", a déclaré Christian dans des commentaires publiés par l'UC Berkeley.
Le « coût humain » des réponses instantanées
Les chercheurs affirment que le problème ne vient pas de l’IA elle-même, mais du type d’aide qu’elle fournit par défaut. Lorsqu’un système produit des réponses en quelques secondes, les utilisateurs s’habituent à cette vitesse et tout ce qui est plus lent commence à sembler inefficace. S'appuyer sur cet outil supprime également ce que l'équipe appelle la « lutte productive » : l'engagement énergique qui aide les gens à découvrir leurs propres forces et intérêts.
"Nous avons construit ces systèmes pour être utiles, mais nous sont-ils utiles d'une manière qui nous aide réellement ?" dit Christian. "Nous avons montré, ironiquement, qu'ils nous aident souvent d'une manière plutôt inutile."
Christian, dont le livre de 2020 « The Alignment Problem » est largement considéré comme l'un des principaux ouvrages accessibles sur la sécurité de l'IA, a déclaré que cette découverte fournit la preuve d'une intuition que de nombreuses personnes ont. "C'est une découverte frappante, mais d'une certaine manière, elle fournit des munitions pour une histoire que beaucoup d'entre nous ressentent dans nos tripes", a-t-il déclaré. "Je l'éprouve aussi."
Pourquoi c'est important au-delà des fractions
L’étude intervient dans un contexte d’inquiétude croissante concernant le déchargement cognitif dans l’éducation. Les sociétés Frontier AI elles-mêmes ont reconnu que confier des tâches aux chatbots peut réduire la compréhension de base d'un utilisateur sur un sujet, selon le rapport de Berkeley. Christian suggère une solution possible : les réponses de l'IA pourraient par défaut être plus instructives, se comportant comme un tuteur qui guide plutôt que comme un répondeur qui remplace.
"Nous devons travailler à un avenir dans lequel les capacités humaines seront, autant que possible, augmentées plutôt que supplantées", a-t-il déclaré.
Sa préoccupation s'étend à la recherche professionnelle. Christian craint qu'une dépendance excessive à l'égard des outils d'IA en science ne puisse éroder les habitudes qui font un bon scientifique : rester proche des données, s'immerger dans le matériel et travailler en étroite collaboration avec une équipe. Un groupe de recherche de dix personnes qui génère les idées derrière une percée, a-t-il noté, pourrait se réduire à deux ou trois chercheurs et un chatbot.
"Ce n'est pas une histoire de fractions et de problèmes SAT", a déclaré Christian. "C'est quelque chose qui arrive à la connaissance humaine et à l'expertise humaine de haut en bas et depuis les élèves des écoles primaires jusqu'aux plus grands experts du monde."
Une étude qui est entrée dans le grand public
Les premières découvertes ont fait l'objet d'une couverture médiatique par WIRED et Psychology Today lorsque l'avant-projet est paru au printemps, et le New York Times a publié un article sur l'article et des recherches similaires la semaine dernière, selon l'UC Berkeley. La présentation évaluée par des pairs au COLM – l'un des principaux lieux de recherche en modélisation linguistique – donne désormais au résultat un cachet formel.
Pour les enseignants et les employeurs, le message est inconfortable mais concret : même une courte exposition aux réponses instantanées de l’IA change de manière mesurable le comportement des gens lorsque les réponses ne sont plus disponibles. Et pour les entreprises d’IA, l’étude ajoute à la pression croissante pour concevoir des systèmes qui enseignent aussi souvent qu’ils résolvent.
Christian, quant à lui, tient un cahier sur son bureau et y écrit tous les jours. Cette pratique, a-t-il déclaré à Berkeley, lui permet de garder les pieds sur terre – et d'éviter que son propre côté scientifique ne s'émousse.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
