Studiu cu temele AI: scoruri în creștere cu 18 la sută, performanța la examene în scădere cu 20 la sută

Un nou studiu care urmărește aproximativ 27.000 de studenți din China a produs unele dintre cele mai serioase dovezi de până acum cu privire la AI generativă în educație: elevii care au folosit instrumente AI și-au văzut scorurile la teme crescând cu 18% și au terminat temele în mult mai puțin timp - apoi au obținut un scor cu 20% sub* colegii lor la examenele susținute fără asistență AI. Cercetarea, condusă de David Strömberg de la Universitatea din Stockholm împreună cu Victor Lei și Wu Yanhui de la Universitatea din Hong Kong, a fost evidențiată de The Economist pe 18 august și circulă ca document de lucru despre SSRN. Pentru cititorii care urmăresc știrile de ultimă oră AI, este un punct de date pe care educatorii și părinții nu îl vor respinge cu ușurință.

Configurația și șocul

Cercetătorii și-au propus să răspundă la o întrebare la care au ghicit majoritatea școlilor: AI ajută elevii să învețe sau îi ajută să termine? Urmărind zeci de mii de elevi din diferite discipline timp de șase luni, echipa ar putea compara performanța temelor cu rezultatele ulterioare ale examenelor atât pentru utilizatorii de AI, cât și pentru cei care nu sunt utilizatori.

Concluziile principale, după cum sunt rezumate de The Economist: după șase luni, elevii care foloseau IA și-au văzut scorul mediu la teme crescând cu 18% la toate disciplinele, în timp ce timpul petrecut pentru fiecare temă a scăzut de la o medie de 64 de minute la 45. Dar când a venit timpul examenului, aceiași elevi au obținut un scor cu 20% sub colegii care nu au folosit niciodată AI pentru temele.

Constatarea mai profundă este mai subtilă și mai tulburătoare. „Scorurile la teme preziceau cândva performanța la examen; acum cei care obțin cel mai mare punctaj au, în mod pervers, mai multe șanse să se descurce mai rău la examene”, a menționat analiza Economist. Cu alte cuvinte, semnalul tradițional pe care se bazează profesorii - notele temelor ca proxy pentru înțelegere - a fost rupt în liniște. Elevii ale căror teme arată cel mai bine pot fi cei care înțeleg cel mai puțin materialul.

Externalizarea, nu învățarea

De ce au crescut scorurile temelor în timp ce scorurile la examene s-au prăbușit? Datele indică ceea ce cercetătorii descriu ca externalizare: studenții predau lucrarea în sine modelului, mai degrabă decât o folosesc ca tutore. Cifrele din lucrarea citată în discuții publice sugerează că aproximativ 81% dintre utilizatorii AI din studiu și-au delegat în mod eficient temele modelelor lingvistice - și că rata de externalizare a crescut cu cât studenții au fost expuși mai mult timp la instrumente.

Modelul a apărut treptat. La începutul studiului, unii studenți care foloseau inteligența artificială au petrecut încă mai mult de 65 de minute pe temă – aproximativ același timp cu cei care nu sunt utilizatori – iar rezultatele temelor și ale examenelor lor au arătat similare cu colegii care au evitat IA. Cercetătorii au dedus că acești studenți abia utilizau modelele. Dar la șase luni de la adoptare, niciun student expus la inteligență artificială nu și-a petrecut încă mai mult de 65 de minute cu temele. Ceea ce începe ca asistență ocazională pare să alunece, sarcină cu sarcină, în delegare completă.

Această escaladare este ceea ce face constatările atât de greu de respins. Nu este că îndrumarea AI nu poate funcționa - folosită în mod deliberat, ca partener socratic care explică și chestionează, tehnologia poate ajuta oamenii să învețe. Este că, în condiții naturaliste, cu adolescenți și sarcini restante, calea celei mai puține rezistențe trece direct prin răspuns.

De ce China face un caz de testare curat

Structura studiului își întărește concluziile. În China, admiterea la universitate se desfășoară prin examene standardizate cu mize mari, iar notele temelor nu măresc rezultatele cursurilor așa cum pot în altă parte. Examenele sunt evaluate la nivel extern și au o consecință brutală, ceea ce face ca diferența de 20 la sută să fie mai greu de explicat cu o notă ușoară sau cu clemența profesorului. Studiul a izolat efectiv ceea ce le pasă cercetătorilor de canal: AI a schimbat modul în care erau produse temele, iar examenele au măsurat ceea ce a fost învățat de fapt.

Discuția despre lucrarea despre Hacker News, unde a adunat sute de puncte, s-a luptat cu întrebarea ulterioară evidentă - dacă AI este un „amplificator” care îi face pe studenții diligenti mai buni și pe studenții deconectați mai rău. Propria analiză a lucrării respinge acel cadru reconfortant: datele despre utilizarea timpului sugerează că chiar și studenții care au început să folosească AI în mod responsabil s-au îndreptat spre delegare de-a lungul lunilor, ceea ce implică că riscul nu este limitat la cei care nu au intenționat niciodată să învețe în primul rând.

Dilema de politică pentru școli

Descoperirile aterizează într-un moment ciudat. Guvernele și firmele tehnologice se luptă pentru a pune tutori AI în fața studenților, pariând că asistența personalizată AI va închide decalajele de realizare. Acest studiu sugerează că rezultatul opus este posibil la scară: temele devin lipsite de frecare, notele se îmbunătățesc, iar învățarea măsurată de sub ele se erodează în liniște - descoperit doar când este prea târziu pentru a fi rezolvat.

Pentru școli, implicațiile sunt concrete. Dacă temele pentru acasă nu mai pot servi ca dovadă a învățării, evaluarea trebuie să se mute în clasă și să fie supravegheată. Dacă utilizarea inteligenței artificiale este inevitabilă, este posibil ca sarcinile să fie reproiectate în funcție de tehnologie - apărare orală, sesiuni de probleme în clasă și notare bazată pe procese care răsplătesc lupta pe care studiul a descoperit-o pe elevi. Și dacă externalizarea se intensifică odată cu expunerea, întârzierea nu este neutră: fiecare lună de acces nestructurat la IA pare să adâncească obiceiul.

Contribuția cercetătorilor este de a înlocui panica anecdotică a erei ChatGPT-in-the-classroom cu numere longitudinale, iar cifrele sunt sumbre. O îmbunătățire cu 18% a temelor pentru acasă achiziționată cu prețul unei scăderi de 20% a examenului nu este un câștig de învățare - este un transfer de muncă de la student la mașină, cu dobândă datorată în ziua examenului.

Rămâi înaintea AI

Pentru descoperiri ale cercetării, consecințe ale politicilor și analiză onesta a AI în educație, marcați AI Buzz Wire.

Citește mai multe știri AI →