Studie domácích úkolů AI: Skóre o 18 procent vyšší, výkon u zkoušky nižší o 20 procent

Nová studie sledující zhruba 27 000 studentů v Číně přinesla některé z dosud nejstřízlivějších důkazů o generativní umělé inteligenci ve vzdělávání: žáci, kteří používali nástroje umělé inteligence, zaznamenali skok v jejich domácích úkolech o 18 procent a dokončili úkoly za mnohem kratší dobu – poté dosáhli o 20 procent pod svých spolužáků u zkoušek složených bez pomoci umělé inteligence. Výzkum, vedený Davidem Strömbergem ze Stockholmské univerzity spolu s Victorem Lei a Wu Yanhui z Hongkongské univerzity, upozornil The Economist 18. srpna a koluje jako pracovní dokument o SSRN. Pro čtenáře sledující aktuální zprávy o AI jde o datový bod, který pedagogové a rodiče jen tak nezavrhnou.

Nastavení a šok

Vědci se rozhodli odpovědět na otázku, kterou většina škol hádala: pomáhá AI studentům učit se, nebo jim pomáhá dokončit? Sledováním desítek tisíc žáků napříč předměty po dobu šesti měsíců mohl tým porovnat výkon domácích úkolů s následnými výsledky zkoušek pro uživatele i neuživatele AI.

Hlavní zjištění, jak je shrnul The Economist: po šesti měsících žáci používající umělou inteligenci zaznamenali nárůst průměrného skóre domácích úkolů o 18 procent ve všech předmětech, zatímco čas strávený na každém úkolu klesl z průměrných 64 minut na 45. Když však přišel čas zkoušky, stejní studenti dosáhli o 20 procent méně než spolužáci, kteří umělou inteligenci nikdy k domácím úkolům nepoužili.

Hlubší zjištění je jemnější a znepokojivější. "Skóre domácích úkolů kdysi předpovídalo výkon u zkoušek; nyní ti, kteří dosahují nejvyššího skóre, mají naopak vyšší pravděpodobnost horších výsledků u zkoušek," poznamenala analýza The Economist. Jinými slovy, tradiční signál, na který se učitelé spoléhají – známky domácích úkolů jako zástupný znak porozumění – byl tiše porušen. Studenti, jejichž úkoly vypadají nejlépe, mohou být těmi, kteří látce rozumí nejméně.

Outsourcing, ne učení

Proč se skóre domácích úkolů prudce zvýšilo, zatímco skóre ze zkoušek se zhroutilo? Data poukazují na to, co výzkumníci popisují jako outsourcing: studenti předávají samotnou práci modelu, spíše než aby jej používali jako tutora. Čísla z článku citovaného ve veřejné diskusi naznačují, že přibližně 81 procent uživatelů umělé inteligence ve studii efektivně delegovalo své domácí úkoly na jazykové modely – a že míra outsourcingu rostla tím déle, čím byli studenti těmto nástrojům vystaveni.

Vzor vznikal postupně. Na začátku studie někteří studenti používající AI stále strávili více než 65 minut na úkol – zhruba stejnou dobu jako neuživatelé – a jejich domácí úkoly a výsledky zkoušek vypadaly podobně jako u kolegů, kteří se AI vyhýbali. Výzkumníci usoudili, že tito studenti modely téměř vůbec nepoužívali. Ale šest měsíců po adopci žádný student vystavený AI stále nestrávil více než 65 minut domácími úkoly. Zdá se, že to, co začíná jako příležitostná pomoc, sklouzne, úkol po úkolu, do úplného delegování.

Tato eskalace je to, co činí zjištění tak obtížné odmítnout. Není to tak, že by doučování umělé inteligence nemohlo fungovat – používá se záměrně jako partner Socratic, který vysvětluje a kvízuje, tato technologie prokazatelně může lidem pomoci se učit. Je to tak, že v naturalistických podmínkách, s teenagery a opožděnými úkoly, cesta nejmenšího odporu vede přímo přes odpověď.

Proč Čína dělá čistý testovací případ

Prostředí studie potvrzuje její závěry. V Číně probíhá přijetí na univerzitu prostřednictvím standardizovaných zkoušek s vysokými sázkami a známky za domácí úkoly nenavyšují výsledky kurzů tak, jak mohou jinde. Zkoušky jsou externě srovnávány a jsou brutálně navazující, takže 20procentní rozdíl je obtížnější vysvětlit snadným známkováním nebo shovívavostí učitele. Studie účinně izolovala to, o co se výzkumníci kanálu zajímají: umělá inteligence změnila způsob vytváření domácích úkolů a zkoušky měřily, co se skutečně naučili.

Diskuse o novinách na Hacker News, kde se shromáždily stovky bodů, se potýkala se zřejmou následnou otázkou – zda ​​je umělá inteligence „zesilovačem“, díky kterému jsou pilní studenti lepší a neangažované studenty horší. Vlastní analýza článku tento uklidňující rámec posouvá zpět: údaje o využití času naznačují, že i studenti, kteří začali používat AI zodpovědně, se v průběhu měsíců posunuli směrem k delegování, což naznačuje, že riziko není omezeno na ty, kteří se nikdy neměli v úmyslu učit.

Politické dilema pro školy

Nálezy přistanou v nepříjemné chvíli. Vlády a edtech firmy se předhánějí v tom, kdo studentům postaví učitele umělé inteligence, a sázejí na to, že personalizovaná pomoc s umělou inteligencí vymaže mezery ve výsledcích. Tato studie naznačuje, že v měřítku je možný opačný výsledek: domácí úkoly se stávají bez tření, známky se zlepšují a měřené učení pod nimi tiše eroduje – objeveno, až když je příliš pozdě na nápravu.

Pro školy jsou důsledky konkrétní. Pokud domácí úkol již nemůže sloužit jako důkaz učení, musí se hodnocení posunout v rámci třídy a musí být zajištěno. Je-li použití umělé inteligence nevyhnutelné, může být nutné přepracovat úkoly s ohledem na technologii – ústní obhajoby, problémové sezení ve třídě a hodnocení založené na procesu, které odměňuje boj, který studie zjistila, že studenti přeskakují. A pokud se outsourcing zintenzivňuje s expozicí, zpoždění není neutrální: zdá se, že každý měsíc nestrukturovaného přístupu AI tento zvyk prohlubuje.

Příspěvek výzkumníků je nahradit neoficiální paniku z éry ChatGPT ve třídě podélnými čísly a čísla jsou bezútěšná. Zlepšení domácího úkolu o 18 procent za cenu 20procentního poklesu u zkoušky není ziskem z učení – je to přesun práce ze studenta na stroj s úrokem splatným v den zkoušky.

Udržujte si náskok před umělou inteligencí

Pro průlomové objevy ve výzkumu, dopady na politiku a poctivou analýzu AI ve vzdělávání si uložte záložku AI Buzz Wire.

Přečtěte si další zprávy o AI →