Slechts tien minuten besteden aan het vertrouwen op een AI-tool schaadt aanzienlijk het vermogen van een persoon om zich te concentreren op en vol te houden met moeilijke taken, blijkt uit een collegiaal getoetst onderzoek dat deze week werd gepresenteerd op de Conference on Language Modeling (COLM).
Het artikel, getiteld ‘AI Assistance Reduces Persistence and Hurts Independent Performance’, was co-auteur van schrijver en onderzoeker Brian Christian, een research fellow bij het UC Berkeley Center for Human-Compatible AI, samen met wetenschappers van Carnegie Mellon University, het Massachusetts Institute of Technology, de Universiteit van Oxford en UCLA. Een eerdere versie van het werk circuleerde in het voorjaar, maar de bijgewerkte, door vakgenoten beoordeelde versie werd deze week op de conferentie gepresenteerd en het onderzoeksbureau van UC Berkeley publiceerde op 9 oktober een gedetailleerde samenvatting. Voor meer context over dit verhaal, zie ons AI-nieuws.
Wat de onderzoekers hebben gevonden
Om te meten hoe snel de focus en het doorzettingsvermogen van mensen afnamen, voerde het team een reeks gerandomiseerde gecontroleerde onderzoeken uit waarbij 1.222 deelnemers online werden gerekruteerd.
In het eerste experiment werd aan 354 deelnemers gevraagd om 15 fundamentele breukproblemen op te lossen. De ene groep werkte zonder hulp, terwijl een tweede groep ChatGPT open had staan en het vrij kon gebruiken voor hulp – of zelfs om rechtstreeks om antwoorden te vragen. De groep met AI-toegang begon nauwkeuriger. Toen, na twaalf problemen, haalden de onderzoekers het hulpmiddel weg. Vrijwel onmiddellijk stortte de nauwkeurigheid in die groep in.
Het patroon herhaalde zich met een tweede, grotere groep van 667 deelnemers. Toen de AI-hulp werd ingetrokken, kregen de AI-gebruikers verkeerde antwoorden of gaven ze het helemaal op, terwijl de groep die zonder hulp had gewerkt, doorging met de taak en met meer succes afrondde.
Een derde experiment met 201 deelnemers ruilde de wiskundeproblemen in voor een SAT-prompt voor begrijpend lezen. Het resultaat weerspiegelde de eerdere tests: toen het gereedschap verdween, namen ook de volharding en nauwkeurigheid toe.
"Je kunt bijna niet om een duidelijker verhaal vragen", zei Christian in een commentaar gepubliceerd door UC Berkeley.
De 'menselijke kosten' van directe antwoorden
De onderzoekers beweren dat het probleem niet de AI zelf is, maar het soort hulp dat het standaard biedt. Wanneer een systeem binnen enkele seconden antwoorden produceert, raken gebruikers aan die snelheid gewend en begint alles wat langzamer is inefficiënt aan te voelen. Door op de tool te vertrouwen, wordt ook wat het team 'productieve strijd' noemt, weggenomen: de moeiteloze betrokkenheid die mensen helpt hun eigen sterke punten en interesses te ontdekken.
"We hebben deze systemen gebouwd om behulpzaam te zijn, maar zijn ze behulpzaam voor ons op een manier die ons daadwerkelijk helpt?" zei Christen. "Ironisch genoeg hebben we laten zien dat ze ons vaak helpen op manieren die nogal nutteloos zijn."
Christian, wiens boek 'The Alignment Problem' uit 2020 algemeen wordt beschouwd als een van de toonaangevende toegankelijke werken over AI-veiligheid, zei dat de bevinding bewijs levert voor een intuïtie die veel mensen koesteren. "Het is een opvallende bevinding, maar in zekere zin levert het munitie op voor een verhaal dat velen van ons in onze buik voelen", zei hij. "Ik ervaar het ook."
Waarom het belangrijker is dan breuken
De studie komt terecht in een groeiende bezorgdheid over cognitieve ontlading in het onderwijs. Frontier AI-bedrijven hebben zelf erkend dat het overbrengen van taken naar chatbots het basisbegrip van een gebruiker over een onderwerp kan verminderen, aldus het rapport van Berkeley. Christian stelt een mogelijke oplossing voor: AI-reacties zouden standaard leerzamer kunnen zijn en zich gedragen als een docent die begeleidt in plaats van als een antwoordapparaat dat vervangt.
‘We moeten werken aan een toekomst waarin menselijke capaciteiten zoveel mogelijk worden vergroot in plaats van verdrongen’, zei hij.
Zijn zorg strekt zich uit tot professioneel onderzoek. Christian maakt zich zorgen dat een overmatig vertrouwen in AI-instrumenten in de wetenschap precies de gewoonten kan uithollen die een goede wetenschapper kenmerken: dicht bij de data blijven, zich verdiepen in de stof en nauw samenwerken met een team. Een onderzoeksgroep van tien die de ideeën achter een doorbraak genereert, zou volgens hem kunnen krimpen tot twee of drie onderzoekers en een chatbot.
"Dit is geen verhaal over breuken en SAT-problemen", zei Christian. "Dit is iets dat gebeurt met menselijke kennis en menselijke expertise van top tot teen en van basisschoolleerlingen tot aan de leidende experts in de wereld."
Een onderzoek dat de mainstream bereikte
De eerste bevindingen trokken aandacht van WIRED en Psychology Today toen het voorontwerp in het voorjaar verscheen, en The New York Times publiceerde vorige week een verhaal over het artikel en soortgelijk onderzoek, aldus UC Berkeley. De peer-reviewed presentatie bij COLM – een van de belangrijkste locaties op dit gebied voor onderzoek naar taalmodellering – geeft het resultaat nu een formeel stempel.
Voor docenten en werkgevers is de boodschap ongemakkelijk maar concreet: zelfs een korte blootstelling aan instant AI-antwoorden verandert meetbaar hoe mensen zich gedragen als de antwoorden niet langer beschikbaar zijn. En voor AI-bedrijven draagt het onderzoek bij aan de toenemende druk om systemen te ontwerpen die net zo vaak lesgeven als oplossen.
Christian van zijn kant heeft een notitieboekje op zijn bureau en schrijft daarin elke dag. De praktijk, zo zei hij tegen Berkeley, houdt hem met beide benen op de grond – en zorgt ervoor dat zijn eigen wetenschappelijke voorsprong niet saai wordt.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
