Étude sur les devoirs sur l'IA : scores en hausse de 18 %, performances aux examens en baisse de 20 %

Une nouvelle étude portant sur environ 27 000 étudiants en Chine a produit certaines des preuves les plus décevantes à ce jour sur l'IA générative dans l'éducation : les élèves qui ont utilisé des outils d'IA ont vu leurs résultats aux devoirs augmenter de 18 % et ont terminé leurs devoirs en beaucoup moins de temps – puis ont obtenu 20 % en dessous de leurs camarades de classe aux examens passés sans l'aide de l'IA. La recherche, dirigée par David Strömberg de l'Université de Stockholm avec Victor Lei et Wu Yanhui de l'Université de Hong Kong, a été soulignée par The Economist le 18 août et circule sous forme de document de travail sur le SSRN. Pour les lecteurs qui suivent les dernières nouvelles sur l'IA (https://aibuzzwire.news), il s'agit d'un point de données que les éducateurs et les parents ne pourront pas facilement ignorer.

La configuration et le choc

Les chercheurs ont tenté de répondre à une question à laquelle la plupart des écoles se posaient : l’IA aide-t-elle les élèves à apprendre ou les aide-t-elle à terminer ? En suivant des dizaines de milliers d’élèves dans toutes les matières pendant six mois, l’équipe a pu comparer les performances des devoirs avec les résultats des examens ultérieurs pour les utilisateurs et non-utilisateurs de l’IA.

Les principales conclusions, résumées par The Economist : après six mois, les élèves utilisant l'IA ont vu leur score moyen aux devoirs augmenter de 18 % dans toutes les matières, tandis que le temps passé sur chaque devoir est passé d'une moyenne de 64 minutes à 45 minutes.

La découverte la plus profonde est plus subtile et plus troublante. "Auparavant, les résultats aux devoirs prédisaient les résultats aux examens ; aujourd'hui, ceux qui obtiennent les meilleurs résultats sont, de manière perverse, plus susceptibles d'avoir de moins bons résultats aux examens", note l'analyse de The Economist. En d’autres termes, le signal traditionnel sur lequel s’appuient les enseignants – les notes des devoirs comme indicateur de compréhension – a été discrètement brisé. Les étudiants dont les devoirs semblent les meilleurs sont peut-être ceux qui comprennent le moins la matière.

Externalisation, pas apprentissage

Pourquoi les résultats aux devoirs ont-ils grimpé tandis que les résultats aux examens se sont effondrés ? Les données suggèrent ce que les chercheurs décrivent comme une sous-traitance : les étudiants confient le travail lui-même au modèle plutôt que de l'utiliser comme tuteur. Les chiffres de l'article cités lors du débat public suggèrent qu'environ 81 % des utilisateurs d'IA participant à l'étude déléguaient effectivement leurs devoirs aux modèles linguistiques – et que le taux d'externalisation augmentait à mesure que les étudiants étaient exposés aux outils pendant longtemps.

Le modèle est apparu progressivement. Au début de l’étude, certains étudiants utilisant l’IA passaient encore plus de 65 minutes par devoir – à peu près le même temps que les non-utilisateurs – et leurs devoirs et résultats d’examens ressemblaient à ceux de leurs pairs qui évitaient l’IA. Les chercheurs ont déduit que ces étudiants utilisaient à peine les modèles. Mais six mois après l’adoption, aucun élève exposé à l’IA ne consacrait encore plus de 65 minutes à ses devoirs. Ce qui commence comme une aide occasionnelle semble se transformer, mission après mission, en une délégation totale.

C’est cette escalade qui rend les conclusions si difficiles à rejeter. Ce n’est pas que le tutorat par l’IA ne puisse pas fonctionner : utilisée délibérément, en tant que partenaire socratique qui explique et interroge, la technologie peut manifestement aider les gens à apprendre. C’est que dans des conditions naturalistes, avec des adolescents et des missions en retard, le chemin de la moindre résistance passe directement par la réponse.

Pourquoi la Chine fait un test propre

Le contexte de l’étude renforce ses conclusions. En Chine, l’admission à l’université passe par des examens standardisés aux enjeux élevés, et les notes des devoirs ne gonflent pas les résultats des cours comme elles peuvent le faire ailleurs. Les examens sont évalués en externe et ont des conséquences brutales, ce qui rend l'écart de 20 % plus difficile à expliquer par une notation facile ou par la clémence des enseignants. L’étude a effectivement isolé le canal qui intéresse les chercheurs : l’IA a changé la façon dont les devoirs étaient produits et les examens mesuraient ce qui avait réellement été appris.

La discussion sur l'article sur Hacker News, où il a rassemblé des centaines de points, s'est heurtée à la question suivante évidente : l'IA est-elle un « amplificateur » qui rend les étudiants assidus meilleurs et les étudiants désengagés pires ? L'analyse de l'article repousse ce cadre rassurant : les données sur l'utilisation du temps suggèrent que même les étudiants qui ont commencé à utiliser l'IA de manière responsable ont dérivé vers la délégation au fil des mois, ce qui implique que le risque ne se limite pas à ceux qui n'ont jamais eu l'intention d'apprendre en premier lieu.

Le dilemme politique pour les écoles

Les découvertes arrivent à un moment délicat. Les gouvernements et les entreprises de technologie éducative se précipitent pour mettre des tuteurs en IA devant les étudiants, pariant que l’assistance personnalisée en IA comblera les écarts de réussite. Cette étude suggère que le résultat inverse est possible à grande échelle : les devoirs deviennent fluides, les notes s'améliorent et l'apprentissage mesuré en dessous s'érode doucement - découvert seulement lorsqu'il est trop tard pour y remédier.

Pour les écoles, les implications sont concrètes. Si les devoirs ne peuvent plus servir de preuve d’apprentissage, l’évaluation doit se dérouler en classe et être surveillée. Si l’utilisation de l’IA est inévitable, les devoirs devront peut-être être repensés autour de la technologie : défenses orales, séances de résolution de problèmes en classe et notation basée sur des processus qui récompensent les difficultés que l’étude a révélées que les étudiants sautaient. Et si l’externalisation s’intensifie avec l’exposition, les retards ne sont pas neutres : chaque mois d’accès non structuré à l’IA semble renforcer cette habitude.

La contribution des chercheurs est de remplacer la panique anecdotique de l’ère ChatGPT-in-the-classroom par des chiffres longitudinaux, et les chiffres sont sombres. Une amélioration de 18 % des devoirs achetée au prix d'une baisse de 20 % aux examens n'est pas un gain d'apprentissage : il s'agit d'un transfert de travail de l'étudiant à la machine, avec des intérêts dus le jour de l'examen.

Gardez une longueur d'avance sur l'IA

Pour connaître les avancées de la recherche, les retombées politiques et une analyse honnête de l’IA dans l’éducation, ajoutez AI Buzz Wire à vos favoris.

Lire plus d'actualités sur l'IA →