英国のフィンテック企業サターンによる新しい調査報告書によると、主要なAIチャットボットは金融に関する質問に対して誤った回答をすることが多く、最も人気のある18のAIモデルをテストしたところ、平均誤り率が57％であることが判明したとフィナンシャル・タイムズが月曜日に報じた。

「Artificial Authority」と題されたこの報告書は、何百万人もの消費者が年金、税金、借金、貯蓄に関するガイダンスを求めてチャットボットに頼ることが増えている中で発表されたもので、たった一つの間違った答えが実際の経済的影響をもたらす可能性がある質問だ。汎用アシスタントが規制の領域に押し込まれる中、今回のような研究は業界の消費者への約束に対する繰り返しのストレステストとなっており、規制当局の対応に合わせて当社は最新の AI 開発を追跡し続けます。

テストの仕組み

Saturn のドメイン チームは、最も広く使用されている 18 の AI モデルに、小売消費者が最も頻繁にアドバイスを求める中核分野である年金、税金、借金、貯蓄に及ぶ 121 の質問に回答しました。発表された報告書の概要によると、テストされたモデルにはChatGPT、Gemini、Claude、MicrosoftのCopilotが含まれていた。

サターン氏によると、モデルは平均して57％の確率で間違いを犯したという。同社はこの調査結果を「間違いから消費者保護の失敗に至るまで」に及ぶものと位置づけ、英国のアドバイス格差、つまり規制された金融アドバイスにアクセスできる人とアクセスできない人の間の格差は、規制されていないチャットボットだけでは埋められないと主張するために利用した。

最良のモデルでも頻繁にエラーが発生する

結果は均一ではありませんでしたが、最も優れたパフォーマーであっても失敗することはよくありました。 FT のレポートによると、最もパフォーマンスの高いモデルは、推論モードで実行されている Anthropic の Claude Opus 5 でしたが、それでも回答の 39% で間違いがありました。

その詳細は、この報告書の最も重要な発見となるかもしれない。解答する前にモデルに熟考させる推論モードは、幻覚や間違いに対する業界の主要な解答であり、フロンティアモデルは金融や法律の専門試験で定期的に好成績を収めています。実際の財務に関する質問の誤答率が 39% であるということは、試験形式のベンチマークと実際の消費者からの質問では、測定対象が大きく異なることを示唆しています。

この調査結果は反発も招いた。 Hacker News のコメント投稿者は、レポートの例のエラーのいくつかが小規模な無料利用枠モデルに由来していることを指摘し、方法論とモデルの選択に疑問を呈しました。しかし、平均 57% とクラス最高の 39% という数字は、サターンと FT の公表された主張どおりであり、消費者はチャットボットの出力を規制されたアドバイスとして扱うべきではないというレポートの中心的な警告には異論はありませんでした。

規制当局が以前に聞いた警告

この報告書は、金銭問題におけるチャットボットに対する当局の不安が高まる中で発表された。英国の消費者は、2025年後半にガーディアン紙が発行した広く報道された警告で、AIチャットボットが不正確な金融アドバイスを提供することについてすでに警告を受けており、それ以来、ヨーロッパと米国の金融規制当局は、AIが生成するアドバイスを新たな消費者リスク分野として警告している。

サターン社自身の立場がこの報告書に特別な優位性を与えている。同社は金融アドバイス用の AI ツールを開発しており、その調査結果を金融における AI の否定としてではなく、ガードレールを正しく設定するための事例として発表した。その主張は、管理が不十分なチャットボットがすでにデフォルトでアドバイスのギャップを埋めており、規制当局が直面している選択は、AIと人間のアドバイスの間ではなく、教師付きAIガイダンスと教師なしAIガイダンスの間であるというものだ。

その議論に対するサターンの貢献は、政策設計に関する議論である。同社は、過剰な規制と呼ばれるものから、大規模な言語モデルに実際的なガードレールを設ける方向に転換することで、規制されていない AI の指導から人々を守りながら、アドバイスのギャップをより早く縮めることができると述べている。言い換えれば、AI を財務上のアドバイスから完全に排除するのではなく、人間のアドバイザーではコストがかかりすぎて手が届かない顧客に安全にサービスを提供できる、監視付きの制約付き導入環境を構築する必要があります。

この枠組みが重要なのは、アドバイスのギャップが、業界にとってこの分野に存在することを正当化する最も強力な理由だからです。英国では、ほとんどの世帯が、規制された金融アドバイスが経済的に実行可能であると考えられる基準から外れており、まさにその世帯がチャットボットに年金や借金について質問しているのです。

消費者が奪うべきもの

モデルが改良されるか規制当局が介入するまでは、研究から得られる実践的な指針は次のとおりです。

  • 税金、年金、借金、貯蓄に関するチャットボットの回答は、アドバイスとしてではなく、研究の出発点として扱います。
  • 特定の数値 (しきい値、レート、許容値) は、それに基づいて行動する前に公式情報源と照合して確認してください。
  • 無料枠モデルには特に注意してください。ラボが推奨する主力バージョンよりも古いか小さい可能性があります。
  • 結果的な決定については、規制された人間のアドバイザーが法的責任を負う唯一の手段であり続けます。

このレポートが提起する広範な問題は、AI 業界が 2026 年に繰り返し直面するであろう問題です。デモやベンチマークで印象的な機能であっても、規制対象領域が要求する信頼性の基準には依然として達していない可能性があります。財務アドバイスは、そのギャップがこれほど明確に数値化された初めての分野です。

AI の一歩先を行く

AI が金融、研究、規制をどのように再構築しているかを追跡していますか? AI Buzz Wire で AI ニュースをもっと読む — 独立した AI 報道を毎日掲載。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→