Двухлетнее исследование Ханмиго показало, что преимущества репетиторства с использованием искусственного интеллекта зависят от вовлеченности студентов

Одно из самых амбициозных реальных испытаний обучения ИИ вынесло отрезвляющий вердикт. Двухлетнее кластерное рандомизированное исследование репетитора Ханмиго из Академии Хана в 18 средних школах штата Теннесси показало, что доступ к репетитору по искусственному интеллекту дает измеримые, но скромные успехи в математике, а результаты сдерживаются проблемой, которую технологи редко афишируют: большинство учеников почти не используют его. Исследование под названием «Один клик: обучение искусственному интеллекту с Ханмиго в ходе двухлетнего школьного эксперимента» было проведено Филипом Ореопулосом и Ниной Лоу и опубликовано Институтом Анненберга в серии EdWorkingPapers Университета Брауна.

Полученные результаты имеют значение далеко не только для одного продукта, поскольку Ханмиго является одним из наиболее широко используемых репетиторов ИИ в американских школах, а исследование является одним из первых крупномасштабных экспериментальных оценок обучения генеративному ИИ в обычных условиях класса. Для тех, кто отслеживает [новости исследований ИИ] (https://aibuzzwire.news) и их противоречия с реальными институтами, эта статья является редким убедительным доказательством в дискуссии, в которой доминируют маркетинговые утверждения, и на этой неделе она попала на первую страницу Hacker News, когда преподаватели и технологи анализировали ее последствия.

Что обнаружило исследование

В ходе исследования учащиеся 18 средних школ штата Теннесси случайным образом распределили учащихся по использованию Академии Хана с ее репетитором по искусственному интеллекту Ханмиго во время существующих ежедневных занятий по математике. Важно отметить, что преподаватель был настроен на обучение, а не на ответы, что отражает заявленную педагогику Академии Хана. Эксперимент длился два школьных года, что сделало его одним из самых длительных полевых экспериментов по обучению ИИ на сегодняшний день.

Основные результаты: назначение репетитора ИИ повысило успеваемость по математике на 1,3 национального процентиля за семестр, что, по расчетам авторов, составляет примерно от 0,06 до 0,08 стандартных отклонений за учебный год. Подразумеваемый эффект от полного года активного участия достигает 0,14 стандартного отклонения. Это реальные, статистически определяемые выгоды, и для недорогого программного вмешательства они вполне приличны.

Но сравнение, которое развеивает шумиху, заключается в следующем: результаты напоминают результаты практики Академии Хана без помощи ИИ. Студенты, которые использовали существующие инструменты практики платформы без прикрепленного преподавателя по искусственному интеллекту, по-видимому, добились таких же результатов, как и студенты, имевшие доступ к Ханмиго.

Проблема взаимодействия с данными

Самый показательный раздел статьи — судебно-медицинская экспертиза использования. На первый взгляд, внедрение выглядит сильным: 96 процентов студентов попробовали Ханмиго хотя бы один раз. В глубине взаимодействие рушится. Средний студент писал репетитору только примерно в трети дней, когда занимался математикой, и только в 17 процентах упражнений, в которых они допустили ошибку. Когда студенты отправляли сообщения преподавателю, авторы обнаружили, что сообщения в основном представляли собой голые ответы или клики по предлагаемым подсказкам, а не содержательный математический диалог.

Другими словами, репетитор был настроен на то, чтобы по-сократовски обучать студентов ошибкам, но студенты в основном полностью избегали наставнического разговора. Авторы приходят к выводу, что обязательным ограничением, по-видимому, является вовлеченность: для реализации перспектив обучения ИИ потребуется заставить студентов его использовать, а не просто предоставить им доступ.

Почему для школ важно покупать ИИ

Округи по всей территории США вынуждены внедрять инструменты искусственного интеллекта, а репетиторство является основным вариантом использования практически на каждом этапе. Генеративный ИИ пропагандировался как технология, которая, наконец, могла бы воплотить в жизнь то, что исследователи образования называют мечтой двух сигм: личного наставника для каждого ученика. Концепция двух сигм Блума основана на более старых исследованиях в области обучения людей, и это именно то обещание, против которого пропагандируются репетиторы по искусственному интеллекту.

Это исследование показывает, что узким местом является не качество модели или доступ. У каждого студента в экспериментальной группе был бесплатный преподаватель по программе LLM, на расстоянии одного щелчка мыши, внутри ежедневного математического блока. Ограничением было то, будут ли подростки добровольно поддерживать репетиторский диалог изо дня в день в коррекционном классе. Человеческое обучение работает отчасти потому, что человек замечает, когда вы отвлекаетесь. Программное обеспечение пока не может надежно воспроизвести эту тенденцию.

Предостережения, о которых стоит помнить

Эта статья представляет собой EdWorkingPaper, распространяемую через Институт Анненберга при Университете Брауна, и читатели должны относиться к ней как к рабочему исследованию, а не как к результатам рецензирования. Исследование охватывает коррекционную математику в средней школе в одном штате, поэтому обобщение на другие предметы, уровни обучения или модели реализации является умозрительным. Собственная формулировка авторов измеряется: они сообщают о том, что произошло, когда широко доступный репетитор по искусственному интеллекту был включен в существующие практические занятия, а не о том, что могло бы произойти при других учебных программах или более сильных стимулах к участию.

Стоит также отметить то, о чем в исследовании не говорится. Он не считает, что обучение ИИ бесполезно; Эффект стандартного отклонения в 0,14 от полного года активного участия был бы значимым, если бы взаимодействие могло быть устойчивым. Вывод более близок к следующему: технология работала так же хорошо, как и практические инструменты, не связанные с искусственным интеллектом, к которым она была прикреплена, потому что студенты не использовали искусственный интеллект иначе, чем те кнопки, которые они уже игнорировали.

Вывод

Сектор образовательных технологий уже два года обещает, что преподаватели, использующие генеративный искусственный интеллект, преобразят классы. Это исследование, одно из первых, в котором участвовали реальные студенты в течение двух полных лет, предполагает, что трансформация связана с древней проблемой: заставить детей хотеть выполнять работу. Для руководителей школ урок заключается в том, чтобы требовать от поставщиков ИИ данных о взаимодействии, а не только количества лицензий. Для индустрии ИИ это напоминание о том, что самые сложные проблемы при развертывании ИИ редко связаны с моделью.

Следите за исследованиями в области искусственного интеллекта

Полевые эксперименты, подобные этому, разорвали порочный круг ажиотажа быстрее, чем любой эталонный тест. Чтобы постоянно освещать исследования ИИ с реальными последствиями, следите за новостями ИИ на aibuzzwire.news.

Читать больше новостей об искусственном интеллекте →