Badanie zadań domowych AI: wzrost o 18 procent, wydajność na egzaminach niższa o 20 procent

Nowe badanie, w którym wzięło udział około 27 000 uczniów w Chinach, dostarczyło najbardziej otrzeźwiających dowodów na temat generatywnej sztucznej inteligencji w edukacji: uczniowie, którzy korzystali z narzędzi sztucznej inteligencji, zaobserwowali, że ich wyniki w zadaniach domowych wzrosły o 18 procent i ukończyli zadania w znacznie krótszym czasie, a następnie uzyskali wyniki o 20 procent niższe od swoich kolegów z klasy na egzaminach zdanych bez pomocy sztucznej inteligencji. Badania prowadzone przez Davida Strömberga z Uniwersytetu w Sztokholmie wraz z Victorem Lei i Wu Yanhui z Uniwersytetu w Hongkongu zostały nagłośnione przez The Economist 18 sierpnia i są rozpowszechniane jako dokument roboczy na temat SSRN. Dla czytelników śledzących najświeższe wiadomości o sztucznej inteligencji jest to punkt danych, którego nauczyciele i rodzice nie będą łatwo ignorować.

Konfiguracja i szok

Naukowcy postanowili odpowiedzieć na pytanie, które zadaje sobie większość szkół: czy sztuczna inteligencja pomaga uczniom w nauce, czy pomaga im ją ukończyć? Obserwując dziesiątki tysięcy uczniów z różnych przedmiotów przez sześć miesięcy, zespół mógł porównać wyniki zadań domowych z wynikami kolejnych egzaminów zarówno dla użytkowników sztucznej inteligencji, jak i osób niekorzystających z niej.

Główne ustalenia podsumowane przez The Economist: po sześciu miesiącach uczniowie korzystający ze sztucznej inteligencji zaobserwowali, że ich średnie wyniki w zadaniach domowych ze wszystkich przedmiotów wzrosły o 18 procent, podczas gdy czas spędzony na każdym zadaniu spadł ze średnio 64 minut do 45. Kiedy jednak nadeszła pora egzaminu, ci sami uczniowie uzyskali o 20 procent gorsze wyniki od kolegów z klasy, którzy nigdy nie korzystali ze sztucznej inteligencji przy odrabianiu zadań domowych.

Głębsze odkrycie jest subtelniejsze i bardziej niepokojące. „Kiedyś wyniki prac domowych przewidywały wyniki na egzaminach; teraz ci, którzy uzyskali najwyższe wyniki, – perwersyjnie – częściej radzą sobie gorzej na egzaminach” – zauważono w analizie przeprowadzonej w „The Economist”. Innymi słowy, tradycyjny sygnał, na którym opierają się nauczyciele – oceny z pracy domowej jako wyznacznik zrozumienia – został po cichu przełamany. Uczniowie, których zadania wyglądają najlepiej, mogą być tymi, którzy najmniej rozumieją materiał.

Outsourcing, a nie nauka

Dlaczego wyniki w zadaniach domowych poszybowały w górę, podczas gdy wyniki egzaminów spadły? Dane wskazują na to, co badacze określają mianem outsourcingu: uczniowie sami przekazują pracę modelowi, zamiast wykorzystywać go w roli korepetytora. Dane z artykułu cytowanego w publicznej dyskusji sugerują, że około 81 procent użytkowników sztucznej inteligencji objętych badaniem skutecznie delegowało swoje prace domowe na modele językowe, a wskaźnik outsourcingu rósł im dłużej uczniowie mieli kontakt z tymi narzędziami.

Wzór pojawiał się stopniowo. Na początku badania niektórzy uczniowie korzystający ze sztucznej inteligencji nadal spędzali ponad 65 minut na jednym zadaniu – mniej więcej tyle samo, co uczniowie niebędący użytkownikami – a ich wyniki w zadaniach domowych i egzaminach były podobne do wyników ich rówieśników, którzy unikali sztucznej inteligencji. Badacze wywnioskowali, że ci studenci prawie w ogóle nie korzystali z modeli. Jednak sześć miesięcy po adopcji żaden uczeń narażony na sztuczną inteligencję nie spędził na odrabianiu zadań domowych więcej niż 65 minut. To, co zaczyna się jako okazjonalna pomoc, zdaje się, przydział po zadaniu, przeradzać się w pełne delegowanie.

To właśnie ta eskalacja sprawia, że ​​ustalenia są tak trudne do odrzucenia. To nie tak, że korepetycje związane z sztuczną inteligencją nie mogą działać – technologia ta, stosowana celowo, jako partner Sokratesa, który wyjaśnia i zadaje pytania, w oczywisty sposób może pomóc ludziom w nauce. Chodzi o to, że w warunkach naturalistycznych, przy nastolatkach i zaległych zadaniach, ścieżka najmniejszego oporu biegnie prosto przez odpowiedź.

Dlaczego Chiny tworzą czysty przypadek testowy

Otoczenie badania wzmacnia zawarte w nim wnioski. W Chinach przyjęcie na uniwersytet odbywa się poprzez standaryzowane egzaminy o wysokiej stawce, a oceny z prac domowych nie zawyżają wyników zajęć w taki sposób, jak gdzie indziej. Egzaminy są sprawdzane na zewnątrz i mają brutalne konsekwencje, co sprawia, że ​​20-procentową różnicę trudniej wytłumaczyć łatwym ocenianiem lub wyrozumiałością nauczyciela. W badaniu skutecznie wyodrębniono obszary, na których interesują się badacze kanałów: sztuczna inteligencja zmieniła sposób tworzenia zadań domowych, a egzaminy sprawdzały, czego faktycznie się nauczyliśmy.

Dyskusja nad artykułem w Hacker News, w którym zebrano setki punktów, zmagała się z oczywistym pytaniem uzupełniającym – czy sztuczna inteligencja jest „wzmacniaczem”, który sprawia, że ​​pilni uczniowie stają się lepsi, a niezaangażowani – gorzej. Analiza przeprowadzona w artykule opiera się na tej pocieszającej ramce: dane dotyczące wykorzystania czasu sugerują, że nawet uczniowie, którzy zaczęli korzystać ze sztucznej inteligencji, w ciągu miesięcy w sposób odpowiedzialny przeszli w stronę delegowania zadań, co oznacza, że ​​ryzyko nie ogranicza się do tych, którzy przede wszystkim nigdy nie zamierzali się uczyć.

Dylemat polityczny dla szkół

Odkrycia trafiają w niezręczny moment. Rządy i firmy edtech prześcigają się w udostępnianiu uczniom nauczycieli zajmujących się sztuczną inteligencją, zakładając, że spersonalizowana pomoc w zakresie sztucznej inteligencji wypełni luki w osiągnięciach. To badanie sugeruje, że na dużą skalę możliwy jest odwrotny wynik: prace domowe stają się mniej tarcia, oceny poprawiają się, a mierzona nauka pod nimi cicho ulega erozji – co można odkryć dopiero wtedy, gdy jest już za późno na naprawienie.

Dla szkół konsekwencje są konkretne. Jeśli prace domowe nie mogą już służyć jako dowód uczenia się, ocenianie musi odbywać się w klasie i być nadzorowane. Jeśli użycie sztucznej inteligencji jest nieuniknione, konieczne może być przeprojektowanie zadań pod kątem technologii – obrony ustne, sesje problemowe w klasie i ocenianie oparte na procesie, które nagradza walkę, którą uczniowie pominęli w badaniu. A jeśli outsourcing nasila się wraz z narażeniem, opóźnienie nie jest neutralne: każdy miesiąc nieustrukturyzowanego dostępu do sztucznej inteligencji wydaje się pogłębiać nawyk.

Wkład badaczy polega na zastąpieniu anegdotycznej paniki związanej z erą ChatGPT w klasie, liczbami podłużnymi, a liczby są ponure. 18-procentowa poprawa pracy domowej zakupiona kosztem 20-procentowego pogorszenia się wyniku egzaminu nie jest korzyścią w nauce — jest to przeniesienie pracy od ucznia na maszynę, z odsetkami należnymi w dniu egzaminu.

Wyprzedź sztuczną inteligencję

Aby zapoznać się z przełomowymi badaniami, konsekwencjami polityki i rzetelną analizą sztucznej inteligencji w edukacji, kliknij zakładkę AI Buzz Wire.

Przeczytaj więcej aktualności o sztucznej inteligencji →