Jeden z najbardziej ambitnych testów nauczania sztucznej inteligencji w świecie rzeczywistym wydał otrzeźwiający werdykt. Dwuletnie, randomizowane badanie klastrowe z udziałem nauczyciela Khanmigo z Khan Academy w 18 szkołach średnich w stanie Tennessee wykazało, że dostęp do korepetytora AI przyniósł wymierne, ale skromne korzyści z matematyki, a wyniki były wstrzymywane przez problem, który rzadko reklamują technolodzy: większość uczniów prawie z niego nie korzystała. Badanie zatytułowane „One Click Away: AI Tutoring with Khanmigo in a Two-Year School Experiment” zostało przeprowadzone przez Philipa Oreopoulosa i Ninę Low i opublikowane za pośrednictwem serii EdWorkingPapers Instytutu Annenberg na Uniwersytecie Browna.

Odkrycia mają znaczenie znacznie wykraczające poza pojedynczy produkt, ponieważ Khanmigo jest jednym z najczęściej wdrażanych nauczycieli wykorzystujących sztuczną inteligencję w amerykańskich szkołach, a badanie jest jedną z pierwszych eksperymentalnych ocen na dużą skalę generatywnego nauczania AI w normalnych warunkach lekcyjnych. Dla każdego, kto śledzi wiadomości dotyczące badań nad sztuczną inteligencją i jej kolizję z instytucjami w świecie rzeczywistym, ten artykuł jest rzadkim twardym dowodem w debacie zdominowanej przez twierdzenia marketingowe i w tym tygodniu trafił na pierwszą stronę Hacker News, gdy pedagodzy i technolodzy analizowali jego implikacje.

Co wykazało badanie

W badaniu losowo przydzielono uczniów z 18 gimnazjów w stanie Tennessee do korzystania z Khan Academy pod okiem nauczyciela AI Khanmigo podczas codziennych sesji wyrównawczych z matematyki. Co najważniejsze, nauczyciel został skonfigurowany tak, aby doradzał, a nie udzielał odpowiedzi, co odzwierciedla pedagogikę Khan Academy. Eksperyment trwał dwa lata szkolne, co czyni go jednym z najdłuższych jak dotąd eksperymentów terenowych dotyczących nauczania sztucznej inteligencji.

Główne wyniki: przypisanie do warunku korepetycji z zakresu sztucznej inteligencji podniosło osiągnięcia z matematyki o 1,3 krajowego percentyla w semestrze, co autorzy obliczyli jako mniej więcej od 0,06 do 0,08 odchylenia standardowego w ciągu roku szkolnego. Domniemany efekt pełnego roku aktywnego uczestnictwa sięga 0,14 odchylenia standardowego. Są to realne, statystycznie wykrywalne korzyści i jak na tanią interwencję programową są godne szacunku.

Ale porównanie, które stłumiło ten szum, jest następujące: zyski przypominają te, które osiągnięto w praktyce Khan Academy bez pomocy sztucznej inteligencji. Wydaje się, że uczniowie, którzy korzystali z istniejących narzędzi ćwiczeniowych platformy i nie mieli przydzielonego nauczyciela AI, poradzili sobie równie dobrze, jak uczniowie, którzy mieli dostęp do Khanmigo.

Problem zaangażowania w dane

Najbardziej odkrywczą częścią artykułu jest kryminalistyczny opis użycia. Na pozór adopcja wygląda na silną: 96 procent uczniów przynajmniej raz wypróbowało Khanmigo. Pod spodem zaręczyny się załamują. Średni uczeń wysyłał wiadomości do korepetytora tylko przez około jedną trzecią dni, w których ćwiczył matematykę i tylko podczas 17 procent sesji ćwiczeń, podczas których popełnił błąd. Kiedy uczniowie wysyłali wiadomości do korepetytora, autorzy odkryli, że wiadomości te zawierały głównie same odpowiedzi lub kliknięcia sugerowanych podpowiedzi, a nie merytoryczny dialog matematyczny.

Innymi słowy, korepetytor został skonfigurowany tak, aby sokratycznie szkolił uczniów na błędach, ale uczniowie w większości całkowicie unikali rozmowy coachingowej. Autorzy doszli do wniosku, że wiążącym ograniczeniem wydaje się być zaangażowanie: zrealizowanie obietnic, jakie daje nauczanie w oparciu o sztuczną inteligencję, będzie wymagało nakłonienia uczniów do korzystania z niego, a nie tylko zapewnienia im dostępu.

Dlaczego ma to znaczenie dla szkół kupujących sztuczną inteligencję

Okręgi w całych Stanach Zjednoczonych znajdują się pod presją przyjęcia narzędzi sztucznej inteligencji, a korepetycje to sztandarowy przypadek zastosowania na niemal każdym boisku. Promuje się generatywną sztuczną inteligencję jako technologię, która może w końcu zapewnić to, co badacze edukacji nazywają marzeniem dwóch sigma: osobistego nauczyciela dla każdego ucznia. Koncepcja dwóch sigma Blooma pochodzi ze starszych badań nad nauczaniem przez ludzi i jest to dokładnie ta obietnica, zgodnie z którą reklamuje się nauczycieli AI.

Badanie to sugeruje, że wąskim gardłem nie jest jakość modelu ani dostęp. Każdy uczeń w grupie terapeutycznej miał dostęp do najnowocześniejszego nauczyciela LLM w ramach swojego codziennego bloku matematycznego, dostępnego za jednym kliknięciem i bezpłatnie. Ograniczeniem było to, czy młodzież dobrowolnie podjęłaby dialog wychowawczy dzień po dniu w klasie wyrównawczej. Korepetycje z udziałem ludzi działają częściowo dlatego, że dana osoba zauważa, kiedy przestajesz się angażować. Oprogramowanie, jak dotąd, nie replikuje w sposób niezawodny tego efektu.

Zastrzeżenia, o których warto pamiętać

Artykuł jest publikacją EdWorkingPaper rozpowszechnianą za pośrednictwem Instytutu Annenberg na Uniwersytecie Browna i czytelnicy powinni traktować go jako badanie robocze, a nie wyniki recenzowane. Badanie obejmuje matematykę wyrównawczą w gimnazjum w jednym stanie, więc uogólnianie na inne przedmioty, poziomy ocen lub modele wdrażania ma charakter spekulacyjny. Mierzone jest podejście autorów: opisują, co się stało, gdy powszechnie dostępny nauczyciel sztucznej inteligencji został nałożony na istniejące sesje ćwiczeń, a nie to, co mogłoby się wydarzyć w przypadku innych programów nauczania lub silniejszych zachęt do zaangażowania.

Warto też zwrócić uwagę na to, czego badanie nie mówi. Nie stwierdza, że ​​nauczanie sztucznej inteligencji jest bezużyteczne; efekt odchylenia standardowego wynoszący 0,14 z całego roku aktywnego uczestnictwa miałby znaczenie, gdyby zaangażowanie mogło zostać utrzymane. Odkrycie jest bliższe temu: zarówno technologia, jak i narzędzia praktyczne inne niż sztuczna inteligencja, do których została połączona, działały, ponieważ uczniowie nie używali sztucznej inteligencji w inny sposób niż przyciski, które już zignorowali.

Jedzenie na wynos

Sektor technologii edukacyjnych przez dwa lata obiecywał, że generatywni nauczyciele AI odmienią sale lekcyjne. To badanie, jedno z pierwszych, które obserwowało prawdziwych uczniów przez pełne dwa lata, sugeruje, że bramą do transformacji jest odwieczny problem: nakłonienie dzieci do wykonywania pracy. Dla dyrektorów szkół lekcja jest taka, że ​​należy wymagać od dostawców sztucznej inteligencji danych dotyczących zaangażowania, a nie tylko liczby licencji. Dla branży sztucznej inteligencji jest to przypomnienie, że najtrudniejsze problemy we wdrażaniu sztucznej inteligencji rzadko dotyczą modelu.

Bądź na bieżąco z badaniami nad sztuczną inteligencją

Eksperymenty terenowe, takie jak ten, przebijają cykl szumu szybciej niż jakikolwiek punkt odniesienia. Aby stale relacjonować badania nad sztuczną inteligencją mające konsekwencje w świecie rzeczywistym, śledź wiadomości dotyczące sztucznej inteligencji na aibuzzwire.news.

Przeczytaj więcej aktualności o sztucznej inteligencji →