Нове дослідження, яке відслідковувало приблизно 27 000 студентів у Китаї, показало одні з найбільш протверезих доказів генеративного штучного інтелекту в освіті: учні, які використовували інструменти штучного інтелекту, бачили, як їхні результати домашнього завдання підскочили на 18 відсотків і виконували завдання за набагато менший час, а потім отримали на 20 відсотків нижчі результати своїх однокласників на іспитах, складених без допомоги ШІ. Дослідження, проведене Девідом Стрьомбергом зі Стокгольмського університету разом з Віктором Леєм і Ву Яньхуєм з Університету Гонконгу, було висвітлено The Economist 18 серпня та поширюється як робочий документ на SSRN. Для читачів, які стежать за [найновішими новинами штучного інтелекту] (https://aibuzzwire.news), педагоги та батьки не так легко відкинуть цю інформацію.

Налаштування та шок

Дослідники вирішили відповісти на питання, яке хвилювало більшість шкіл: чи допомагає ШІ учням вчитися, чи він допомагає їм закінчити? Спостерігаючи за десятками тисяч учнів з різних предметів протягом шести місяців, команда могла порівняти виконання домашнього завдання з результатами наступних іспитів як для користувачів штучного інтелекту, так і для некористувачів.

Головні висновки, підсумовані The Economist: через шість місяців учні, які використовують штучний інтелект, помітили, що їхній середній бал за домашнє завдання зріс на 18 відсотків з усіх предметів, а час, витрачений на кожне завдання, скоротився в середньому з 64 хвилин до 45. Але коли настав час іспитів, ті самі студенти отримали на 20 відсотків менше результатів, ніж однокласники, які ніколи не використовували штучний інтелект для виконання домашніх завдань.

Глибше відкриття є тоншим і більш тривожним. «Оцінки за домашнє завдання колись передбачали результативність іспитів; тепер ті, хто отримує найвищі результати, навпаки, мають більше шансів гірше здавати іспити», — зазначається в аналізі Economist. Іншими словами, традиційний сигнал, на який покладаються вчителі — оцінки за домашнє завдання як проксі для розуміння — було тихо зламано. Учні, чиї завдання виглядають найкраще, можуть бути тими, хто найменше розуміє матеріал.

Аутсорсинг, а не навчання

Чому бали за домашні завдання різко зросли, а бали за іспити впали? Дані вказують на те, що дослідники описують як аутсорсинг: студенти передають саму роботу моделі, а не використовують її як викладача. Цифри з статті, наведені під час публічного обговорення, свідчать про те, що приблизно 81 відсоток користувачів штучного інтелекту в дослідженні фактично делегували свої домашні завдання мовним моделям — і що рівень аутсорсингу зростав, чим довше учні знайомилися з інструментами.

Шаблон вимальовувався поступово. На початку дослідження деякі студенти, які використовують штучний інтелект, усе ще витрачали більше 65 хвилин на виконання завдання — приблизно стільки ж часу, скільки і ті, хто не користується ним — і їхні домашні завдання та результати іспитів виглядали схожими на результати однолітків, які уникали штучного інтелекту. Дослідники зробили висновок, що ці студенти майже не використовували моделі взагалі. Але через шість місяців після прийняття жоден учень, який був підданий штучному інтелекту, все ще витрачав на домашнє завдання більше 65 хвилин. Те, що починається як епізодична допомога, здається, ковзає, завдання за призначенням, до повного делегування.

Саме ця ескалація робить висновки так важко відкинути. Справа не в тому, що репетиторство штучного інтелекту не може працювати — ця технологія, яка використовується навмисно, як партнер Сократа, який пояснює та ставить запитання, може допомогти людям навчатися. Це те, що в натуралістичних умовах, з підлітками та простроченими завданнями шлях найменшого опору проходить прямо через відповідь.

Чому Китай робить чистий тестовий приклад

Обстановка дослідження посилює його висновки. У Китаї вступ до університету проходить через стандартизовані іспити з високими ставками, а оцінки за домашнє завдання не завищують результати курсу, як це відбувається в інших країнах. Іспити є зовнішніми порівняльними та надзвичайно важливими, тому 20-відсотковий розрив важче пояснити легким оцінюванням або поблажливістю вчителя. Дослідження фактично виокремило те, що цікавить дослідників каналу: штучний інтелект змінив спосіб підготовки домашніх завдань, а іспити оцінювали те, що насправді було вивчено.

Обговорення статті на Hacker News, де вона набрала сотні балів, боролося з очевидним наступним питанням — чи є штучний інтелект «підсилювачем», який робить старанних студентів кращими, а незаангажованих — гіршими. Власний аналіз газети відштовхується від цієї втішної рамки: дані про використання часу свідчать про те, що навіть студенти, які почали відповідально використовувати ШІ, протягом місяців переходили до делегування, що означає, що ризик не обмежується тими, хто взагалі не збирався вчитися.

Політична дилема для шкіл

Знахідки потрапляють у незручний момент. Уряди та технічні фірми навперебій виставляють репетиторів зі штучного інтелекту перед студентами, роблячи ставку на те, що персоналізована допомога зі штучним інтелектом усуне прогалини в досягненнях. Це дослідження припускає, що в масштабі можливий протилежний результат: домашні завдання стають легкими, оцінки покращуються, а виважене навчання тихо розмивається — виявляється лише тоді, коли виправляти вже надто пізно.

Для шкіл це має конкретні наслідки. Якщо домашнє завдання більше не може служити доказом навчання, оцінювання має бути перенесено в клас і під наглядом. Якщо використання штучного інтелекту неминуче, завдання, можливо, доведеться переробити відповідно до технології — усні захисти, сеанси вирішення проблем у класі та оцінювання на основі процесу, яке винагороджує труднощі, які студенти пропускають, як показало дослідження. І якщо аутсорсинг посилюється разом із розкриттям, затримка не є нейтральною: кожен місяць неструктурованого доступу до штучного інтелекту, здається, поглиблює цю звичку.

Внесок дослідників полягає в тому, щоб замінити анекдотичну паніку ери ChatGPT-in-the-classroom на подовжні цифри, і цифри похмурі. 18-відсоткове покращення домашнього завдання, придбане за рахунок 20-відсоткової відмови від іспиту, не є перевагою в навчанні — це передача роботи від учня до машини з відсотками в день іспиту.

Будьте попереду ШІ

Для проривів у дослідженнях, результатів політики та чесного аналізу штучного інтелекту в освіті додайте в закладки AI Buzz Wire.

Читати більше новин AI →