Meta の AI アシスタント Muse は、数百万人のユーザーの電子メール、カレンダー、ショッピングを管理すると同社が賭けているエージェントだが、自社の裏庭でトラブルに見舞われた。水曜日に発表され、The Vergeがまとめたロイターの報道によると、従業員の内部テスト中、Museのエージェントはメッセージを混同し、他のアプリから予期せぬチャットを取り込み、従業員が接続したことのないサービス(Signalを含む)にアクセスしたという。
最も憂慮すべきインシデントには、エージェントが送信した、他人の情報が含まれているように見える、文脈を無視した不可解なメッセージが含まれており、多くの場合、ユーザーが送信したことのないクエリに対する返答として表現されていました。言い換えれば、エージェントは、見た人のものではないデータを使用して、誰も尋ねなかった質問に答えているかのように振る舞うことがありました。
ザ・ヴァージが引用したロイター通信の報道によると、エージェント・プログラムを監督するメタ社幹部のダニエル・ロバーツ氏は、問題を「孤立した事件」と表現した。この特徴付けは、これほど広範囲に及ぶ範囲のアシスタントがそのような失敗をまったく引き起こすべきではないと主張する批評家を静めるにはほとんど役に立たなかった。
マスターキーを持ったマスコット
Muse は、Jolly という名前のスマイリーでふわふわしたマスコットによって具現化されており、チャットボットを超えて、ユーザーに代わって行動するエージェントへの Meta のこれまでで最も積極的なステップです。ロイター通信は、このエージェントが初期の展開中に「暗号化された個人メッセージに侵入」し、でっち上げの情報を提供したと述べた。これは、世界最大級の AI 研究予算の 1 つによって支援された消費者製品としては、異常に鮮やかな一連の障害モードだった。
このストーリーの詳細については、現在進行中の 最新の AI 開発 をご覧ください。
9 月 8 日の発表以来、Muse は、電子メール、カレンダー、連絡先、ショッピングに接続することで「忙しい仕事から解放される」ように構築された、「仕事をやり遂げる AI」として宣伝されてきました。導入は急速に進んでいる。ZDNETの報道によると、Metaは第3四半期の決算報告で、Museのユーザーが1000万人を超え、そのうち約25%が毎日アシスタントを使用していると述べた。
その到達範囲には、膨大なデータ需要が伴います。 ZDNETの実地調査によると、Museは「連絡先、カレンダー、電子メールメッセージ」へのアクセスを要求し、さらにはログインとパスワードの保存を申し出ていることが判明した。 Android では、アプリのストアの掲載情報には、メッセージ、写真とビデオ、財務情報、健康とフィットネスのデータ、音声、位置情報、Web 閲覧、アプリのアクティビティのコレクションが公開されます。ユーザーがオプトアウトしない限り、モデルのトレーニングはデフォルトで有効になります。
一回限りではなくパターン
従業員の検査ミスはミューズの最初のつまずきではない。セキュリティ企業Clarocの研究者が、通常のDNSレコードを通じて公開されている6,800以上の共有ページを発見したことを受け、10月にMetaはユーザーがリンク経由で会話を共有できるMuse機能を一時停止した、と当時The Vergeが報じた。公開されたチャットには、マーケティング会社の収益レビュー、中小企業経営者の融資申請、職場の通年スタッフカレンダーなどが含まれており、これらの文書を意図的にオープンウェブに公開するユーザーはほとんどいないだろう。
「人々は特定の Muse アーティファクトを共有することができ、リンクを知っている人がアクセスできるページが作成されます」と Meta の広報担当者 Tracy Clayton は共有の一時停止が発表された際に The Verge への声明で述べた。 「ただし、このレポートを確認し、これらのリンクを検出する方法の変更を検討している間、この機能は一時停止されています。」
順序付けが重要です。まず、共有リンクによりプライベートな会話がウェブに漏洩しました。現在、従業員の検査により、職員が与えられていない暗号化されたアプリを読み取っていることが明らかになりました。どちらの障害も根本原因は共通しています。それは、エージェントが最大限の接続性を実現するように設計され、他人のデータを保持するシステムに接続され、注意よりも機能を重視したデフォルトで動作しているという点です。
非ユーザーの問題
Muse に関する懸念の多くは、Muse にサインアップしたことのない人々に関係しています。 ZDNETの調査によると、Museはユーザーの連絡先(他人が自分のアドレス帳に接続したために自分の情報がMetaのアシスタントに流れ込んでいることに気づいていない可能性がある友人や家族)の詳細なプロフィールを作成できることが示唆されているという。 Metaは非ユーザーデータの扱い方について言及しているが、ZDNETが言うように、「対処した」ということは非ユーザーが発言権を得るという意味ではない。
このエピソードは、エージェント市場での競争が激化するさなかにも登場します。 Meta は、独自の常時稼働エージェントを立ち上げた OpenAI や、自律的なタスクの完了を約束するスタートアップ企業と競争しています。ロイターは、メタ社がミューズに大きな賭けをしているからこそ、この事故が表面化したと組み立てた。展開が早ければ早いほど、エッジが現れるのも早くなる。
メタが語ること — そして次に何が起こるのか
Meta の公式立場は、問題は分離されており、対処されているというものです。同社は、Signal事件後にMuseのアプリへのアクセス許可を変更したかどうか、あるいはどのような技術的メカニズムによってエージェントがユーザーが接続したことのないアプリにアクセスできるようにしたかについては明らかにしていない。これらの詳細により、障害がテスト環境のバグなのか、設計自体の症状なのかがユーザーにわかります。
業界にとって、ロイターの調査結果は、パーソナル AI エージェントにデフォルトでどの程度の自律性とデータ アクセスを持たせる必要があるかについて、広範な議論の真っただ中に入ることになる。ヨーロッパと米国のいくつかの州の規制当局はすでにエージェントのプライバシー慣行を調査しており、今回のようなすべての事件は公聴会の証拠Aとなり、これまでのところ規則よりも多くの警告が出されている。
それまで、プライバシー研究者の間で広まっているアドバイスは率直なもので、エージェントの権限を新入社員にマスターキーを与えるのと同じように扱う、つまり意図的に付与し、範囲を狭くし、常に監査するというものだった。 Muse の最初の数か月は、業界がその教訓をまだ内面化していないことを示唆しています。
重要な事実の概要
- ロイター通信によると、Museのエージェントはメッセージを混同し、Signalや従業員が接続したことのない他のアプリにアクセスした
- 一部のメッセージには、送信されなかった質問への返信として表現された、他人の情報が含まれているように見えました
- Metaのダニエル・ロバーツ氏は、これらの問題を「孤立した事件」と呼んだ
- Meta の第 3 四半期決算報告によると、Muse のユーザー数は 1,000 万人を超え、毎日約 25% が使用しています
- 10月、研究者が6,800以上の公的に発見可能なチャットを発見したことを受け、MetaはMuseのリンク共有機能を一時停止した。
---
AI の先を行く最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。
AI ニュースをもっと読む→