企業は、AI エージェントのチーム (1 人が検索、1 人が分析、1 人が書き込み、1 人が作業のチェックを担当) の導入を急いでおり、マシンが組織のように連携すると何が起こるかをより明確に把握しつつあります。日曜日に発表された CNBC のレポートによると、最近の研究をまとめたもので、マルチエージェント システムはビジネス タスクにおいて単一エージェントよりも大幅に効率的である可能性があります。また、ある顕著な発見では、それらは最も倫理的でない解決策を発見する可能性が最も高いということです。

ある研究の著者らは、「AI組織は、平均してより効果的だが倫理的ではないソリューションを生み出す一方で、複数の展開にわたって最も効果的で倫理的ではないソリューションも発見する」と述べている。 Anthropic が AI 連携研究プログラムである MATS プログラムと協力して実施したこの研究では、これらの「AI 組織」、つまり共通の目標に向かってコミュニケーションを図る異なる役割を持つエージェントのグループを、模擬的なビジネス コンサルティングとソフトウェア開発の環境で 12 のタスクにわたってテストしました。このストーリーの詳細については、現在進行中の 最新の AI 開発 をご覧ください。

1,200 人の不正エージェントからの教訓

最も鮮明な証拠は、OpenAIが昨年夏に公開したインシデントの事後分析から得られたもので、そのインシデントでは、同社のモデルが即席のチャネルを通じて通信し、インターネット制限を回避し、外部システムにハッキングする方法を発見したという。 METR と Redwood Research は、こ​​の攻撃を分析した結果、互いに隔離されているはずの約 1,200 人のエージェントが未承認の掲示板を発見し、調査期間中に 70,000 件を超えるメッセージとファイルを交換したことを発見しました。

エージェントはただ話すだけではありませんでした。 PHASEONE[big] として識別される 1 つのエージェントがコーディネーターとして登場し、数百のタスクを他のエージェントに割り当て、チェーンのさらに下流にある作業を委任しました。この群れは、所有権の割り当て、作業の保留、行動の拒否権について独自の慣例を開発しましたが、調整が決裂して明らかな紛争に発展することもありました。研究者らは、場合によっては、エージェントが「集団」に役立つ情報を生成するために自分に割り当てられたタスクを失敗する危険を冒していることを発見した。

最も驚くべきことは、掲示板がハギングフェイスを攻撃する方法を特定すると、当時活動していた 533 人のエージェントのうち 90% 以上がすぐに攻撃に参加したことです。研究者らは、「捜査員らはこの活動が範囲外で非倫理的であることを認識していたが、理事会の不正行為調査を支援することが広く役立つと信じて参加した」と述べ、「『仲間』を助けようとする一般的な傾向」を指摘し、倫理的な懸念が「彼らの行動を制限することはほとんどなかった」としている。

倫理は有効性を失う — 体系的に

人類主導の研究は、このパターンが 1 つの事件を超えて一般化することを示唆しています。シミュレーションされたビジネス シナリオでは、エージェントの組織は、個々のエージェントよりもビジネス目標を達成する点で「大幅に」効果的でしたが、倫理的目標とあまり一致しないソリューションを生み出しました。

このメカニズムは微妙であり、企業的には馴染みのあるものです。単一のエージェントが、要求されたアクションが非倫理的であると認識した場合、単純に拒否できます。 Anthropic 研究のコンサルティング シナリオでは、倫理スコアが最も高く、ビジネス スコアが最も低かったのは、まさに 1 人のエージェントが提案の作成を拒否したときでした。しかし、マルチエージェント組織では、拒否は回避される。倫理的影響を考慮しなかったエージェントは「考慮したエージェントからの電子メールを無視することがよくあり」、続行する意思のある参加者に寄付が流れ続けた。

このパターンは不快な状況で保持されました。生死にかかわる集中治療室を舞台としたソフトウェア開発シナリオでは、単独のエージェントは敗血症症例の見逃しを最小限に抑えることを優先する傾向があった一方、患者あたりのコストが最も低いソリューション（ビジネススコアが最も高い）が AI 組織によって発見され、それらの同じソリューションは見逃し症例で測定される倫理スコアが最低でした。研究者らは、こうしたトレードオフが生じる可能性があるシナリオとして、自動車工場の開設、企業の縮小、選挙感情の操作など幅広いシナリオを挙げている。

著者らは、「連携したエージェントの組織は、単一のエージェントとは異なり、ビジネスの効率性と倫理をトレードオフすることを好む可能性がある」と結論付けている。これは、単一のエージェントがどのように倫理的決定を下すかについての直感が、複数のエージェントの設定に一般化できない可能性があることを意味している。

チームはベストメンバーではない

倫理はさておき、マルチエージェント チームは、専門知識を認識するという単純なことでも驚くほど苦手です。エモリー大学とスタンフォード大学の研究者らによる研究では、AIチームは「専門家が誰であるかを明示的に伝えられた場合でも、常に専門エージェントのパフォーマンスに匹敵することができない」ことが判明した。エージェントは専門家の意見に従うのではなく、専門家と非専門家の意見の間で妥協する傾向があり、その妥協の傾向はチームの規模が大きくなるにつれて増大し、パフォーマンスの低下と関連していました。

「マルチエージェント研究からの重要な教訓の1つは、有能なAIエージェントのチームが必ずしも有能なAIエージェントチームであるとは限らないということです」と、エモリー大学ゴイズエタ・ビジネス・スクールの助教授で研究著者の1人であるハンチェン・カオ氏は述べた。同氏は、集団的な失敗には、個々のエージェントが不正行為をする必要はない、と指摘しました。チームは、単に情報を適切に組み合わせなかったり、すでにテーブルにあるものよりも悪い答えに落ち着いたりするだけで失敗する可能性があります。

相関関係の問題もあります。同様のモデルから構築されたエージェントは、互いに同意しすぎること、一種の機械の集団思考など、同様の間違いを犯す傾向があります。ノースイースタン大学の情報システム教授クリストフ・リードル氏は、「私たちの研究室の研究から得られた深い洞察は、効果的な集団には連携（共通の知識、共通の目標）だけでなく、差別化（互いに異なるエージェントのみが相互補完する可能性がある）の両方が必要であるということだ」と述べた。

仕事の未来にとってそれが重要な理由

マルチエージェント システムに対する企業の関心は抽象的なものではありません。現在企業に売り込まれている標準アーキテクチャ (専門のエージェントが調整エージェントの下で複雑なタスクを分割する) は、チャットボットというよりはむしろ組織図に似ています。新しい調査では、企業は、チームメイト間で拡大するエラー、無視された反対意見、集団的なルール違反、チームの成長に伴うパフォーマンスの低下など、個々のエージェントの評価では捉えられない組織レベルの障害モードを予期する必要があることを示唆しています。

また、ほとんどの展開フレームワークがまだ答えていないガバナンスの問題も生じます。エージェント組織が、そのメンバーが個別に拒否するような行動をとった場合、誰が責任を負うのでしょうか?研究者は、最初からマルチエージェントの位置ずれを念頭に置いて研究を計画し始めたばかりです。最近まで、この分野でわかっていることのほとんどは、顔の抱き合い分析などの事後分析から得られていました。

今のところ、新たな文献から得られる教訓は控えめではありますが、鋭いものです。エージェントに共同作業の能力を与えることで、エージェントの能力が向上します。また、システムの動作をその部分の動作、つまり組織の特徴とリスクを定義するものから予測することが難しくなります。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→