今週言語モデリング会議 (COLM) で発表された査読済みの研究結果によると、AI ツールに依存してわずか 10 分を費やしただけで、難しいタスクに集中して継続する能力が著しく損なわれるという。

「AI支援は持続性を減らし、独立したパフォーマンスを損なう」と題されたこの論文は、カリフォルニア大学バークレー校ヒューマン互換AIセンターの研究員である作家兼研究者のブライアン・クリスチャン氏と、カーネギーメロン大学、マサチューセッツ工科大学、オックスフォード大学、UCLAの学者らの共著である。この研究の以前の草稿は春に配布されたが、査読を経た最新版が今週の会議で発表され、カリフォルニア大学バークレー校の研究室は10月9日に詳細な概要を発表した。 この件の詳細は、AIの最新動向をご覧ください。

研究者が発見したこと

人々の集中力と持続力がどれだけ早く低下するかを測定するために、チームはオンラインで募集した1,222人の参加者を対象に一連のランダム化対照試験を実施した。

最初の実験では、354 人の参加者に 15 個の基本的な分数問題を解くように依頼しました。 1 つのグループは助けなしで作業しましたが、2 つ目のグループは ChatGPT をサイドで開いており、支援のために自由に使用でき、さらには直接答えを求めることもできました。 AI にアクセスできるグループは、最初はより正確でした。その後、12 件の問題が発生した後、研究者はツールを取り上げました。ほぼ即座に、そのグループの精度は崩壊しました。

このパターンは、667 人の参加者からなる 2 番目のより大きなグループでも繰り返されました。 AI の支援が中止されると、AI ユーザーは答えを間違えるか、完全に諦めてしまいましたが、一方、支援なしで作業していたグループはタスクに固執し、よりうまく完了しました。

201 人の参加者を対象とした 3 回目の実験では、数学の問題を SAT の読解プロンプトに置き換えました。結果は以前の試験を反映しており、ツールが消えると持続性と精度も失われました。

カリフォルニア大学バークレー校が発表したコメントの中でクリスチャン氏は、「これ以上明確なストーリーを求めることはほぼ不可能だ」と述べた。

即時回答の「人的コスト」

研究者らは、問題はAIそのものではなく、AIがデフォルトで利用する支援の種類にあると主張している。システムが数秒で答えを生成すると、ユーザーはその速度に慣れてしまい、それより遅いと非効率に感じ始めます。このツールに依存すると、チームが「生産的な闘争」と呼ぶもの、つまり人々が自分の強みや興味を発見するのに役立つ努力的な取り組みも排除されます。

「私たちは役立つようにこれらのシステムを構築しましたが、実際に役立つ形で役に立っているでしょうか?」クリスチャンは言いました。 「皮肉なことに、私たちは彼らがしばしば役に立たない形で私たちを助けてくれていることを示しました。」

2020年の著書『The Alignment 問題』は、AIの安全性に関する主要なアクセシブルな著作の1つとして広くみなされているクリスチャン氏は、この発見は多くの人が抱いている直観の証拠となると述べた。 「これは驚くべき発見だが、ある意味、私たちの多くが心の中で感じているこの物語に弾みを与えるものだ」と彼は語った。 「私も経験しています。」

分数を超えて重要な理由

この研究は、教育における認知的オフロードに対する懸念が高まる中で行われた。バークレーの報告書によると、フロンティアAI企業自身も、タスクをチャットボットにオフロードすると、ユーザーの主題に関する基本的な理解力が低下する可能性があることを認めているという。クリスチャン氏は、修正の可能性を示唆しています。AI の応答は、デフォルトでより有益なものになる可能性があります。つまり、代わりの留守番電話ではなく、ガイドする家庭教師のように動作する可能性があります。

「私たちは人間の能力が代替されるのではなく、可能な限り強化される未来に向けて取り組む必要がある」と彼は述べた。

彼の関心は専門的な研究にも及びます。クリスチャンは、科学における AI ツールへの過度の依存が、データに近づき、資料に没頭し、チームと緊密に連携するという優れた科学者の習慣をまさに侵食する可能性があると懸念しています。画期的なアイデアを生み出す 10 人の研究グループは、2 ～ 3 人の研究者とチャットボットに縮小される可能性があると同氏は指摘しました。

「これは分数やSATの問題に関する話ではありません」とクリスチャン氏は語った。 「これは、上から下まで、そして小学生から世界の一流の専門家に至るまで、人類の知識と専門知識に起こっていることです。」

主流になった研究

カリフォルニア大学バークレー校によると、この初期の調査結果は、春に予備草案が掲載された際に『WIRED』と『サイコロジー・トゥデイ』で報道され、ニューヨーク・タイムズ紙は先週、この論文と同様の研究に関する記事を掲載した。この分野の言語モデリング研究の主要な会場の 1 つである COLM での査読済みのプレゼンテーションにより、その結果に正式な評価が与えられました。

教育者や雇用主にとって、このメッセージは不快ではあるが具体的である。AI の即時回答に短時間さらされただけでも、回答が入手できなくなったときの人々の行動は目に見えて変化する。そして、AI企業にとっては、この研究により、解くたびに教えるシステムを設計するというプレッシャーが高まることになる。

クリスチャンは、机の上にノートを置き、毎日書き込んでいます。この練習によって地に足が着くようになり、自分自身の学術的才能が鈍るのを防いでいる、と彼はバークレー校に語った。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →