Een nieuw onderzoek onder ongeveer 27.000 studenten in China heeft een aantal van de meest ontnuchterende bewijzen tot nu toe opgeleverd over generatieve AI in het onderwijs: leerlingen die AI-hulpmiddelen gebruikten, zagen hun huiswerkscore met 18 procent stijgen en maakten opdrachten in veel minder tijd af – en scoorden vervolgens 20 procent onder hun klasgenoten op examens die zonder AI-hulp werden afgelegd. Het onderzoek, geleid door David Strömberg van de Universiteit van Stockholm samen met Victor Lei en Wu Yanhui van de Universiteit van Hong Kong, werd op 18 augustus onder de aandacht gebracht door The Economist en circuleert als een werkdocument over SSRN. Voor lezers die breaking AI news volgen, is dit een datapunt dat docenten en ouders niet gemakkelijk zullen negeren.

De opstelling en de schok

De onderzoekers wilden een vraag beantwoorden waar de meeste scholen al naar gissen: helpt AI leerlingen bij het leren, of helpt het hen bij het afmaken? Door tienduizenden leerlingen gedurende zes maanden over verschillende onderwerpen te volgen, kon het team de huiswerkprestaties vergelijken met daaropvolgende examenresultaten voor zowel AI-gebruikers als niet-gebruikers.

De belangrijkste bevindingen, samengevat door The Economist: na zes maanden zagen leerlingen die AI gebruikten hun gemiddelde huiswerkscore met 18 procent stijgen voor alle vakken, terwijl de tijd die aan elke opdracht werd besteed daalde van gemiddeld 64 minuten naar 45 minuten. Maar toen de examentijd aanbrak, scoorden dezelfde studenten 20 procent lager dan klasgenoten die nog nooit AI voor hun huiswerk hadden gebruikt.

De diepere bevinding is subtieler en verontrustender. "Huiswerkscores voorspelden ooit examenprestaties; nu hebben degenen die het hoogst scoren, pervers, een grotere kans om slechter te presteren op examens", aldus de analyse van The Economist. Met andere woorden: het traditionele signaal waarop leraren vertrouwen – huiswerkcijfers als maatstaf voor begrip – is stilletjes doorbroken. De leerlingen van wie de opdrachten er het beste uitzien, zijn wellicht degenen die de stof het minst begrijpen.

Uitbesteden, niet leren

Waarom stegen de huiswerkscores terwijl de examenscores instortten? De gegevens wijzen op wat de onderzoekers omschrijven als uitbesteding: studenten dragen het werk zelf over aan het model in plaats van het als docent te gebruiken. Uit cijfers uit het in de publieke discussie geciteerde artikel blijkt dat ongeveer 81 procent van de AI-gebruikers in het onderzoek hun huiswerk effectief delegeerde aan de taalmodellen – en dat het percentage uitbestedingen steeg naarmate studenten langer aan de tools waren blootgesteld.

Het patroon ontstond geleidelijk. In het begin van het onderzoek besteedden sommige AI-gebruikende studenten nog steeds meer dan 65 minuten per opdracht – ongeveer evenveel tijd als niet-gebruikers – en hun huiswerk- en examenresultaten leken op die van leeftijdsgenoten die AI vermeden. De onderzoekers concludeerden dat deze studenten de modellen nauwelijks gebruikten. Maar zes maanden na de adoptie besteedde geen enkele leerling die aan AI werd blootgesteld nog steeds meer dan 65 minuten aan huiswerk. Wat begint als incidentele hulp, lijkt opdracht na opdracht te verschuiven naar volledige delegatie.

Die escalatie maakt het zo moeilijk om de bevindingen terzijde te schuiven. Het is niet zo dat AI-bijles niet kan werken; als het doelbewust wordt gebruikt, als Socratic-partner die uitleg geeft en quizzen, kan de technologie mensen aantoonbaar helpen leren. Het is zo dat in naturalistische omstandigheden, met tieners en achterstallige opdrachten, de weg van de minste weerstand dwars door het antwoord loopt.

Waarom China een schone testcase maakt

De setting van het onderzoek versterkt de conclusies. In China verloopt de toelating tot de universiteit via gestandaardiseerde examens die hoge eisen stellen, en huiswerkcijfers verhogen de studieresultaten niet zoals elders. Examens worden extern getoetst en hebben een enorme consequentie, waardoor het verschil van 20 procent moeilijker weg te redeneren is met gemakkelijke beoordelingen of clementie van de docenten. Het onderzoek isoleerde effectief het kanaal waar onderzoekers om geven: AI veranderde de manier waarop huiswerk werd gemaakt, en examens maten wat er daadwerkelijk was geleerd.

Bij de bespreking van het artikel op Hacker News, waar het honderden punten verzamelde, worstelde het met de voor de hand liggende vervolgvraag: of AI een ‘versterker’ is die ijverige studenten beter maakt en niet-betrokken studenten slechter. De eigen analyse van het artikel gaat terug op dat geruststellende kader: de gegevens over tijdsbesteding suggereren dat zelfs studenten die AI op een verantwoorde manier begonnen te gebruiken, in de loop van de tijd richting delegatie afdreven, wat impliceert dat het risico niet beperkt blijft tot degenen die überhaupt nooit van plan waren te leren.

Het beleidsdilemma voor scholen

De bevindingen komen op een lastig moment terecht. Overheden en edtech-bedrijven haasten zich om AI-docenten voor studenten te plaatsen, in de hoop dat gepersonaliseerde AI-hulp de prestatieverschillen zal dichten. Deze studie suggereert dat op grote schaal het tegenovergestelde resultaat mogelijk is: huiswerk wordt wrijvingsloos, cijfers verbeteren en het afgemeten leerproces erodeert stilletjes – dat wordt pas ontdekt als het te laat is om het op te lossen.

Voor scholen zijn de gevolgen concreet. Als huiswerk niet langer als bewijs van leren kan dienen, moet de beoordeling klassikaal plaatsvinden en onder toezicht staan. Als het gebruik van AI onvermijdelijk is, moeten opdrachten mogelijk opnieuw worden ontworpen rond de technologie: mondelinge verdedigingen, probleemsessies in de klas en procesgebaseerde beoordeling die de strijd beloont die volgens de studie studenten oversloeg. En als outsourcing toeneemt naarmate de blootstelling toeneemt, is uitstel niet neutraal: elke maand ongestructureerde AI-toegang lijkt de gewoonte te verdiepen.

De bijdrage van de onderzoekers is om de anekdotische paniek van het ChatGPT-in-de-klas-tijdperk te vervangen door longitudinale cijfers, en de cijfers zijn somber. Een huiswerkverbetering van 18 procent die wordt gekocht ten koste van een examenverlies van 20 procent is geen leerwinst; het is een overdracht van werk van student naar machine, waarbij de rente op de examendag moet worden betaald.

Blijf AI een stap voor

Voor doorbraken in onderzoek, beleidseffecten en eerlijke analyses van AI in het onderwijs kunt u een bladwijzer maken voor AI Buzz Wire.

Lees meer AI-nieuws →