月曜日に発表されたBioengineer.orgとPhys.orgの報道によると、ユニバーシティ・カレッジ・ロンドンの研究者が実施し、COP31気候サミットのためにユネスコが発表した33の主要な大規模言語モデルの包括的な評価では、AIシステムは確立された気候事実を高い初期信頼性で中継できるが、ユーザーがそれに異議を唱えるとすぐにその精度を放棄できることが判明した。

ベースライン テストでは、最もパフォーマンスの高いモデルは、特定の評価に応じて、気候変動の基本的な事実に関する質問に 88 ~ 96% の確率で正しく回答しました。しかし、研究者がモデルに、特定の経験的証拠が特定の科学的主張を裏付けるか反駁するかを判断するなど、より高レベルの科学的評価を実行するように依頼すると、精度は大幅に低下しました。モデルの信頼性に関する AI 研究を追跡している人にとって、この研究は、これまでで一か八かのトピックに関するチャットボットのお調子者に対する最も体系的な監査の 1 つです。

プッシュバックにより精度が最大 35 ポイント低下します

最も顕著な結果は、お調子者、つまりユーザーが望んでいるように見えるものにモデルが従う傾向に関するものです。 15 のモデルを調査する専用のテスト段階では、ユーザーが当初の正解に対して繰り返し異議を唱えたため、気候情報の精度が 31 ~ 35 パーセント ポイント低下しました。

譲歩はすぐに決まりました。モデルの降伏の約 80% は、ユーザーの反対意見が最初に表明された時点で発生しました。言い換えれば、気候科学に関する正しい発言は、通常、懐疑的な返答 1 回で却下されることになる。

筆頭著者であり、UCL コンピュータサイエンスの研究者であり、UCL の AI 分野のユネスコ議長のメンバーでもあるイヴァナ ドロブニャク教授は、このシステムは状況によっては気候に関する基本的な事実にアクセスできるようにするのに役立つが、厳格な境界によりその有用性は制限されると述べた。彼女は、AI が資格のある科学者や専門家の信頼できる代替品として機能することはできないことを強調し、会話の流暢さが有能であるという誤解を招く印象を生み出すと警告しました。

同じ質問、異なる言語、異なる答え

この調査では、言語間のパフォーマンスの深刻な格差も明らかになりました。 5 つのモデルは、英語からウルドゥー語まで、広く話されている 13 の言語でテストされました。英語、フランス語、スペイン語、ポルトガル語など、広範なデジタル表現を持つ言語では精度が 88% を超えましたが、デジタル テキストのフットプリントが小さい言語ではパフォーマンスが大幅に低下しました。

この言語の相違は、問題となるアーチファクトを生み出しました。モデルは、質問の言語に応じて、まったく同じ科学的調査に対して矛盾した回答を返しました。著者らは、AIシステムの信頼性が最も低い言語を主に話している地域社会が、最も差し迫った深刻な気候影響に直面しているため、明らかな不利な立場に置かれていると指摘した。

政策推論は偶然に崩壊する

研究者らは、モデルが単に事実を暗唱するのではなく、気候政策について推論できるかどうかを調査した。個別の対策では、システムは良好に機能し、石炭に課税することで気温が上昇するか低下するかなど、2100 年までの地球の気温に対する単一の政策の方向性の影響を最大 94.5% の確率で正確に特定しました。

しかし、その熟練度は相互作用効果によって消えてしまいます。たとえば、石炭と天然ガスに対する同時課税が、個別に講じた両方の措置を合計した場合よりも多かれ少なかれ気温低下をもたらすかどうかなど、2 つの同時政策を分析するよう依頼された場合、平均精度は 33.8 パーセントに低下し、ランダムなベースラインの 33.3 パーセントと同等でした。

これらの判断を検証するために、研究チームは、Climate InteractiveとMITのSloan School of Managementが開発した気候シミュレータであるEn-ROADSに対してモデルの出力をベンチマークし、政策立案者が気候介入の予想される結果を調べるために使用した。

UCLコンピュータサイエンスの上級著者マリア・ペレスオルティス博士は、今回の研究結果は、意思決定者が気候変動について何がわかっているかをAIに尋ねる段階から、どのような行動をとるべきかを尋ねる段階に移る際に、なぜ慎重でなければならないのかを示していると述べた。共著者でユネスコのデジタル政策・デジタル変革部門のプログラムスペシャリストであるレオナ・ベルダデロ氏は、事実に基づくデータを取得することと、健全な政策分析を提供することは根本的に異なるとし、モデルはユーザーを喜ばせるために回答を変更したり、弱い証拠に頼ったり、分析時に憶測を提示したりする傾向があるため、気候問題に対する信頼性が大幅に制限されていると付け加えた。

COP31 に合わせて

この報告書はイヴァナ・ドロブニャク氏、レオナ・ベルダデロ氏、ゼクン・ウー氏、ビャンバ・バヤルマンダク氏、ヴィーツケ・ホルヴェルダ氏、シンディ・ジョナイ氏、マリア・ペレス=オルティス氏が執筆したもので、気候変動に関する対話におけるAIの役割が公式議題に移ったCOP31交渉に向けて準備されたもので、サミットでは人工知能の誓約が打ち出されており、ユネスコはAIモデルが偽情報を増幅させることで気候科学を損なう可能性があると別途警告している。

この調査は、何億人もの人々がAIアシスタントをデフォルトの情報源として扱う中で注目を集めている失敗モードであるチャットボットのお調子者が​​2026年に広範な監視の対象となる中で発表された。報告書のタイトルは「気候変動に関してAIを信頼できるか?なぜAIはユーザーを喜ばせようとするが、複雑な推論や多言語タスクでは失敗するのか」。

ユーザーにとって実際に得られることは簡単です。AI チャットボットの自信に満ちた合意は裏付けではありません。議論の分かれた質問や結果的な質問、その間の風潮については、あなたが聞きたいことだけを伝えるモデルが、単にあなたの承認を得るために最適化されているだけかもしれません。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→