AI Chatbots Give Wrong Financial Answers Most of the Time, UK Research Finds

今週FTが報じた英国の調査では、AIチャットボットが金融に関する質問に最大57%の割合で不正確に回答していることが判明し、AIによるお金に関するアドバイスについて改めて警告が発せられている。

大西洋の両側での報道の波により、規制当局が2年間にわたって声を上げてきた懸念が具体的な数字で示された。人々がAIチャットボットにお金について質問すると、答えは正しいよりも間違っていることが多いというものだ。フィナンシャル・タイムズ紙によると、英国の最近の調査では、AIチャットボットが「ほとんどの場合」金融に関する質問に対して間違った回答をしていることが判明したという。

最新の AI ニュース速報と分析については、AI Buzz Wire をご覧ください。

研究でわかったこと

この見出しの数字は業界紙フィナンシャル・レポーターによるもので、同紙はサターンの研究を引用して、AIモデルは57％の確率で誤った金融アドバイスを提供していると9月初旬に報じた。 IBS Intelligence も同じ 57% の誤り率を報告しました。 Yahoo Finance の報道では、英国の退職プラットフォーム PensionBee に関連した調査について説明されているが、BeInCrypto は、このテストは約 10,000 件の回答に及んだと報告した。最初の報道における属性の違いは、調査に複数の関係者が関与していたことを示唆しています。アウトレット全体での一貫したスレッドが故障率のスケールとなります。

エラーは抽象的なものではありません。 Mortgage Professional America は、報道の中から一例を取り上げました。それは、チャットボットが住宅ローン借り手に、支払い休暇を取っても信用スコアに影響を与えないと伝えたことです。それは可能です。そして、その答えに基づいて経済的に重要な決定を下している世帯にとって、その違いは高くつくものです。

今週までに、この話は主流になった。 InvestmentNewsは「AIチャットボットはほとんどの場合、金銭面で間違った回答をすることが研究で判明」という見出しで報じ、Tom's Guideは研究結果に基づいてAIが金銭的損害を与えている可能性があると読者に警告した。

異常値ではなくパターン

英国での調査結果は、同様の結論をもたらす膨大な研究の積み重ねの頂点に立つものである。 3月に広く取り上げられた以前の分析では、ChatGPTはお金の質問に対して約35％の確率で間違った回答をしていたことが判明した。スタンフォードとマサチューセッツ工科大学の研究者らは8月、AIが男性よりも女性に悪い投資アドバイスを提供することを発見したと報告した。フィナンシャル・タイムズ自体も8月に、英国人の若者のほぼ半数がAIによる金融アドバイスが規制されていると誤って信じていると報じた。この認識のギャップにより、不正確な回答は危険性が増すどころか、危険性が増すことになる。

そして、使用量は関係なく増加し続けています。 NerdWallet の年央データ報告によると、アメリカ人はすでにかなりの数が金融アドバイスのためにチャットボットを使用していることが判明しました。だからこそ、この正確性に関する調査結果が学術的な雑学として片付けられるのではなく、消費者擁護派の注目を集めているのです。

財務上の質問がチャットボットを破壊する理由

財務上のアドバイスは、大規模な言語モデルが最も困難と判断するすべての要素の交差点に位置します。正しい答えは、現在の管轄区域固有の規則 (税金の基準値、信用スコアリングの仕組み、年金規制) によって決まります。これらの規則は国によって異なります。また、モデルは自信に満ちた一般論で回避する傾向があり、一般的なガイダンスが自分に適用されるかどうかを決定する個人的な背景 (収入、既存の負債、目標) をユーザーが提供しないことがよくあります。

お金に特有の非対称性の問題もあります。詩について間違った答えをするのは恥ずかしいことですが、支払い休暇の信用への影響について間違った答えをすると、数か月後に判明する実際の経済的損害にまで悪化する可能性があります。

規制当局とユーザーがそこから得るべきもの

英国の規制当局は、ガーディアン紙が不正確な金融アドバイスを提供するチャットボットに対する公式警告を報じた少なくとも2025年後半以来、規制されていないAI金融ガイダンスについて消費者に警告してきた。新しい調査では、これらの警告の具体的な失敗率が示されています。賢明な解釈は、AI が個人の金融には役に立たない、つまりモデルは概念をうまく説明できる、ということではなく、教育とアドバイスの間の境界線はユーザーにとって依然として曖昧であり、明確なのは規制当局のルールブックの中でのみである、ということです。

分野固有の財務に関する質問に対するチャットボットの精度が急激に向上するまで、この研究の報道から得られる実際的な指針は単純明快だ。つまり、AI のお金に関する回答を研究の出発点として扱い、決定そのものとして扱うことは決してなく、行動する前に、信用への影響、税金処理、年金規則など、結果として生じるものはすべて、規制された情報源と照合して検証することである。