Новое исследование, в котором приняли участие примерно 27 000 студентов в Китае, предоставило одни из самых отрезвляющих доказательств использования генеративного ИИ в образовании: ученики, которые использовали инструменты ИИ, увидели, что их оценки за домашние задания выросли на 18 процентов и выполнили задания гораздо быстрее, а затем набрали на 20 процентов ниже своих одноклассников на экзаменах, сдаваемых без помощи ИИ. Исследование, проведенное Дэвидом Стрёмбергом из Стокгольмского университета вместе с Виктором Леем и Ву Яньхуэй из Университета Гонконга, было освещено в журнале The Economist 18 августа и распространяется в качестве рабочего документа по SSRN. Для читателей, следящих за последними новостями об искусственном интеллекте, педагогам и родителям нелегко отмахнуться от этой информации.

Установка и шок

Исследователи задались целью ответить на вопрос, который задавался большинством школ: помогает ли ИИ ученикам учиться или помогает им закончить учебу? Наблюдая за десятками тысяч учеников по различным предметам в течение шести месяцев, команда смогла сравнить выполнение домашних заданий с результатами последующих экзаменов как для пользователей ИИ, так и для непользователей.

Основные выводы, резюмированные The Economist: через шесть месяцев у учеников, использующих ИИ, средний балл за домашние задания увеличился на 18 процентов по всем предметам, а время, затраченное на каждое задание, сократилось в среднем с 64 минут до 45. Но когда пришло время экзамена, те же ученики набрали на 20 процентов меньше баллов, чем их одноклассники, которые никогда не использовали ИИ для выполнения домашних заданий.

Более глубокое открытие является более тонким и тревожным. «Раньше результаты домашнего задания предсказывали успеваемость на экзамене; теперь те, кто набрал наивысшие баллы, как ни парадоксально, с большей вероятностью сдадут экзамены хуже», — отмечается в анализе журнала Economist. Другими словами, традиционный сигнал, на который полагаются учителя (оценки за домашнее задание как показатель понимания), был незаметно нарушен. Учащиеся, чьи задания выглядят лучше всего, могут быть теми, кто хуже всего понимает материал.

Аутсорсинг, а не обучение

Почему оценки за домашние задания резко выросли, а результаты экзаменов упали? Данные указывают на то, что исследователи называют аутсорсингом: студенты передают модель самой работе, а не используют ее в качестве наставника. Цифры из документа, процитированные в публичном обсуждении, показывают, что около 81 процента пользователей ИИ, участвовавших в исследовании, фактически делегировали свою домашнюю работу языковым моделям — и что уровень аутсорсинга возрастал по мере того, как дольше студенты пользовались этими инструментами.

Схема складывалась постепенно. В начале исследования некоторые студенты, использующие ИИ, по-прежнему тратили на одно задание более 65 минут — примерно столько же, сколько и не пользователи, — а их домашние задания и результаты экзаменов были такими же, как у сверстников, которые избегали ИИ. Исследователи пришли к выводу, что эти студенты вообще почти не использовали модели. Но через шесть месяцев после внедрения ни один ученик, подвергшийся воздействию ИИ, по-прежнему не тратил на домашнее задание более 65 минут. То, что начинается с эпизодической помощи, постепенно, задание за заданием, превращается в полное делегирование.

Именно из-за этой эскалации выводы так трудно игнорировать. Дело не в том, что обучение ИИ не может работать — используемая сознательно в качестве сократовского партнера, который объясняет и задает вопросы, технология явно может помочь людям учиться. В том, что в натуралистических условиях, с подростками и просроченными заданиями, путь наименьшего сопротивления пролегает прямо через ответ.

Почему Китай делает чистый тестовый пример

Обстановка исследования подтверждает его выводы. В Китае поступление в университеты осуществляется через стандартизированные экзамены с высокими ставками, а оценки за домашние задания не повышают результаты курсов, как это происходит в других странах. Экзамены оцениваются извне и имеют жестокие последствия, из-за чего 20-процентный разрыв сложнее объяснить простым выставлением оценок или снисходительностью учителей. Исследование эффективно изолировало каналы, которые волнуют исследователей: ИИ изменил способ выполнения домашних заданий, а экзамены измеряли то, что на самом деле было изучено.

Обсуждение статьи на Hacker News, где она собрала сотни точек зрения, боролось с очевидным последующим вопросом — является ли ИИ «усилителем», который делает прилежных учеников лучше, а неактивных студентов — хуже. Собственный анализ статьи опровергает эту утешительную картину: данные об использовании времени показывают, что даже студенты, которые начали ответственно использовать ИИ, в течение нескольких месяцев склонялись к делегированию, подразумевая, что риск не ограничивается теми, кто вообще никогда не собирался учиться.

Политическая дилемма для школ

Выводы приходят в неловкий момент. Правительства и образовательные компании стремятся предоставить студентам репетиторов по искусственному интеллекту, делая ставку на то, что персонализированная помощь искусственного интеллекта устранит пробелы в успеваемости. Это исследование предполагает, что в масштабах возможен противоположный результат: домашние задания становятся более простыми, оценки улучшаются, а измеряемое обучение, лежащее в их основе, постепенно разрушается — это обнаруживается только тогда, когда уже слишком поздно что-то исправлять.

Для школ последствия являются конкретными. Если домашнее задание больше не может служить доказательством обучения, оценка должна проводиться в классе и под контролем. Если использование ИИ неизбежно, задания, возможно, придется перепроектировать с учетом этой технологии — устные защиты, групповые занятия и выставление оценок на основе процесса, которые вознаграждают за борьбу, которую, как показало исследование, учащиеся пропускают. И если аутсорсинг усиливается по мере разоблачения, задержка не является нейтральной: каждый месяц неструктурированного доступа к ИИ, похоже, углубляет эту привычку.

Вклад исследователей состоит в том, чтобы заменить анекдотичную панику эпохи ChatGPT в классе продольными цифрами, и цифры мрачны. 18-процентное улучшение домашнего задания, приобретенное за счет 20-процентного отказа от экзамена, не является достижением в обучении — это передача работы от ученика к машине с процентами, подлежащими выплате в день экзамена.

Будьте впереди ИИ

Чтобы узнать о прорывах в исследованиях, последствиях политики и честном анализе использования ИИ в образовании, добавьте в закладки AI Buzz Wire.

Подробнее новости AI →