中国の約2万7000人の学生を追跡した新たな研究で、教育における生成AIに関するこれまでで最も厳粛な証拠がいくつか得られた。AIツールを使用した生徒は宿題の得点が18パーセント上昇し、はるかに短い時間で課題を終えることができた。その後、AIの支援なしで受けた試験ではクラスメートより20パーセント「下」の得点を記録した。ストックホルム大学のデイビッド・ストロンバーグ氏と香港大学のビクター・レイ氏、ウー・ヤンフイ氏が主導したこの研究は、8月18日付けのエコノミスト誌で取り上げられ、SSRNの研究論文として回覧されている。 AI ニュース速報 をフォローしている読者にとって、これはデータ ポイントであり、教育者や保護者は簡単に無視することはできません。

セットアップと衝撃

研究者らは、ほとんどの学校が推測してきた質問、つまり AI は生徒の学習に役立つのか、それとも修了に役立つのか? という疑問に答えるために着手しました。チームは、さまざまな科目で数万人の生徒を6か月間追跡することで、AIユーザーと非ユーザーの宿題の成績とその後の試験結果を比較することができた。

エコノミストが要約した見出しの調査結果は、6か月後、AIを使用した生徒の宿題の平均点が全科目で18パーセント上昇し、各課題に費やした時間が平均64分から45分に減少したことを確認した。しかし、試験の時間が来ると、同じ生徒の得点は宿題にAIを一度も使用したことがないクラスメートより20パーセント低かった。

より深い発見はより微妙でより厄介です。エコノミスト誌の分析では、「かつては宿題の得点が試験の成績を予測していた。しかし現在では、最高点をとった人は、ひねくれたことに、試験の成績が悪くなる可能性が高くなっている」と指摘している。言い換えれば、教師が依存してきた伝統的なシグナル、つまり理解の代用としての宿題の成績が、静かに打ち破られたということだ。課題が最も良く見える生徒は、内容を最も理解していない生徒である可能性があります。

学習ではなくアウトソーシング

試験の点数が崩れる一方で、宿題の点数が急上昇したのはなぜでしょうか?データは、研究者がアウトソーシングと表現しているもの、つまり学生がモデルを家庭教師として使用するのではなく、モデルに作業自体を渡すことを示しています。公開討論会で引用された論文の数字は、調査に参加した AI ユーザーの約 81% が宿題を言語モデルに効果的に委任しており、学生がツールにさらされている期間が長くなるほどアウトソーシング率が上昇したことを示唆しています。

徐々にパターンが見えてきました。研究の初期段階では、AI を使用している学生の中には、依然として 1 つの課題あたり 65 分以上を費やしており、これは非ユーザーとほぼ同じ時間であり、宿題や試験の結果は AI を避けた学生と同様に見えました。研究者らは、これらの学生はモデルをほとんど使用していないと推測しました。しかし、導入から 6 か月が経過しても、AI にさらされた生徒で宿題に 65 分以上費やした生徒は一人もいませんでした。時折の援助として始まったものは、割り当てごとに完全な委任に移行しているようです。

このエスカレーションこそが、調査結果を無視することを非常に困難にしているのです。 AI 個別指導が機能しないわけではありません。説明やクイズを行うソクラテスのパートナーとして意図的に使用すれば、このテクノロジーは明らかに人々の学習に役立ちます。それは、十代の若者や期限を過ぎた課題など、自然主義的な状況では、抵抗が最も少ない道が答えに向かってまっすぐに伸びるということです。

中国が明確なテストケースを作成する理由

この研究の設定は、その結論を強化するものである。中国では、大学入学は高額の標準試験によって行われ、他の地域のように宿題の成績によってコースの成績が水増しされることはありません。試験は外部でベンチマークされ、残酷な結果をもたらすため、安易な採点や教師の寛大さによって 20 パーセントの差を説明するのは困難になります。この研究は、研究者が関心を持っているチャネルを効果的に分離しました。AI によって宿題の作成方法が変わり、試験では実際に何を学んだかが測定されました。

ハッカーニュースでのこの論文の議論では、何百もの論点が集まり、明らかな後続の質問、つまりAIは勤勉な学生をより良くし、無関心な学生をより悪くする「増幅器」であるかどうかと格闘した。同論文独自の分析は、その安心できる枠組みを押し戻すものである。時間利用データは、責任を持って AI を使い始めた学生でさえ、何か月も経つと委任に向かう傾向にあることを示唆しており、リスクが最初から学ぶつもりのなかった学生に限定されないことを示唆している。

学校の政策上のジレンマ

発見は厄介な瞬間に現れました。政府とエドテック企業は、パーソナライズされた AI 支援が成績の差を埋めることに賭けて、AI 家庭教師を生徒の前に配置しようと競い合っています。この研究は、逆の結果が大規模に発生する可能性があることを示唆しています。つまり、宿題はスムーズになり、成績は向上し、その下にある測定された学習は静かに侵食されますが、修正するには遅すぎる場合にのみ発見されます。

学校にとって、その影響は具体的です。宿題が学習の証拠として機能しなくなった場合、評価は授業内で監督のもとで行われなければなりません。 AI の使用が避けられない場合は、テクノロジーを中心に課題を再設計する必要があるかもしれません。口頭弁論、授業内の問題セッション、研究で判明した学生のサボりに報いるプロセスベースの採点などです。そして、アウトソーシングが露出とともに強化される場合、遅延は中立ではありません。構造化されていない AI へのアクセスが毎月発生するたびに、その習慣が深まるようです。

研究者らの貢献は、教室内での ChatGPT 時代の逸話的なパニックを縦断的な数字に置き換えることであり、その数字は暗いものです。 20 パーセントの試験の辞退を犠牲にして得られた 18 パーセントの宿題の改善は、学習上の利益ではありません。それは、生徒から機械への作業の移行であり、利息は試験当日に支払われます。

AI の一歩先を行く

研究の画期的な成果、政策の影響、教育における AI の正直な分析については、AI Buzz Wire をブックマークしてください。

AI ニュースをもっと読む→