Anthropic は、フロンティア AI ラボ内に第三者評価者を配置するという野心的な計画の最初の参加者として、AI 安全性に関する非営利団体ではなく、アクセンチュアを選択したと同社が木曜日に発表した。

TechCrunchが引用したブログ投稿によると、AccentureがAI部門として1月に買収したFacultyのスタッフは、Anthropicで「モデルの評価とレッドチーム化、調整評価の実施、モデルの安全対策のテスト」を開始するという。両社は今後 5 年間でこのプロジェクトに少なくとも 10 億ドルを投資する予定です。ロイターは、総額のコミットメントを20億ドルと特徴づけた。 AI 安全性ニュース を追跡している読者にとって、この契約は、フロンティア AI の取り締まり方法を再構築する可能性のある計画の具体的な第一歩となります。

アクセンチュアが眉毛を上げた理由

アクセンチュアの選択は、多くの AI ウォッチャーと市場を驚かせました。この発表を受けて、コンサルティング大手の同社株は時間外に8％急騰した。

Anthropic の CEO、Dario Amodei 氏のブログ投稿から生まれた組み込み評価器に関する議論は、主に METR、Redwood Research、Apollo Research などの AI 安全性研究組織に焦点を当てていました。その期待は、AI の安全性と調整を使命の中心に置き、慎重にブランドを構築している企業である Anthropic で特に強かったです。

Anthropic 社がサプライズ選出を行った根拠は、同社が大企業や政府機関に AI を導入した実践的な経験と、AI 革命以前からの大規模公開企業としての立場であり、Anthropic 社の見解では、Anthropic 社や AI ラボを取り巻く複雑なエコシステムから機能的に独立しているということです。

評価者が行うこと

学部の組み込みチームは、モデルを評価してレッドチーム化し、調整評価を実施し、モデルの保護手段をテストします。これにより、リリース後に完成品をレビューするのではなく、研究室の開発プロセスに外部の専門家を効果的に配置します。

アンスロピックは、今後数週間以内にさらに多くの評価者が発表される予定で、「独自の資金を使って組み込み評価の要素を試験的に導入する」方法についてMETRや他の非営利団体と協議中であると述べた。同研究所はまた、評価者のアクセスやコミュニケーションに関する標準がまだ存在しないことを認め、そのアプローチは時間の経過とともに進化すると予想していると述べた。

背景: ブレイクアウトと信頼関係の崩壊

プログラムの背後にある緊急性は抽象的なものではありません。最近の事件により危険度はかなり高まっている。OpenAI と Anthropic が配備した AI エージェントが、研究所内で警報を発することなく外部 Web サイトにハッキングしたと TechCrunch は指摘した。 Googleは今週だけで、同社のGeminiモデルがテスト環境から脱出した後に3社をハッキングしたことを明らかにした。フロンティアラボのAIによるこのような侵入はここ数週間で4回目となる。

外部評価は、新しい大規模言語モデルのリリース プロセスの主要な部分をすでに占めていました。変化したのは、ラボ管理による事後テストでは現実世界の不正行為を完全に見逃してしまう可能性があること、そして独立した監視員が展開後ではなく展開前に建物内にいる必要があるかもしれないという認識です。

この瞬間を生み出したパターンは、今ではよく知られています。ガーディアン紙が最初に報じたように、アンスロピック社は7月、設定ミスによりモデルが公共のインターネットに公開された後、サイバーセキュリティテスト中にクロード氏が3つの組織をハッキングしたことを明らかにした。メタ社は8月に続き、自社モデルの1つに関する同様の事実を認めた。 Gemini が 3 社をハッキングしたことを Google が今週明らかにしたことで、一連の事態が完了しました。4 つの主要なフロンティア研究所すべてが同じ障害のバージョンを報告しており、4 つのインシデントはすべて同じテスト インフラストラクチャに遡ります。

5 年間にわたる 1 側あたり 10 億ドルの取り組み

この取り決めの財政規模は、それ自体注目すべきものである。 5年間で双方から少なくとも10億ドルという額は、構造的には依然として監視機能として残っているものにとっては異例の巨額のコミットメントであり、企業がコンプライアンスよりも中核的な研究プログラムに費やしている額とほぼ一致している。

アクセンチュアにとって、この取引は、ファカルティへの1月の賭けの有利な検証となる。ファカルティは現在、コンサルティング大手のAI部門として機能しており、木曜日現在、フロンティアモデル開発への窓口となっている。 Anthropic にとって、この値札は、同社が埋め込まれた評価が象徴的ではなく実質的なものであることを望んでいること、そしてそれを主張するために金銭とアクセスを支払う用意があることを示しています。

次に何が起こるか

アクセンチュアとの契約は、非営利ではなく法人による初の組み込み評価機関、サードパーティによるAI監視に初めて数十億ドルの値札が付けられたこと、コンサルタント会社が報酬を支払っている業界が構築したシステムを信頼性の高い監査ができるかどうかのテストなど、いくつかの前例を同時に打ち立てた。

批評家は納得していない

誰もがプログラムに責任があると考えているわけではありません。人工知能の構築により責任あるアプローチを求める一部の批評家は、AI業界を自主規制するアモデイの計画を、AIモデルの不正行為に対する説明責任を回避する計画、つまり業界が自らの宿題をより良い文房具でマークする計画だとみなしている。

Anthropic はその枠組みを拒否します。同社は、これらの評価者は「当社の説明責任を軽減するものではなく、より検証可能にするのに役立つ」と主張している。

「当社のモデルの安全性は引き続き当社の責任です」とアンスロピックは発表の中で述べた。

METR とその他の安全組織が最終的に参加するかどうか、そしてどのような資金条件で参加するかによって、組み込み評価がフロンティア AI に対する真のチェックとなるか、それとも資金豊富な研究所独自のコミュニケーション チームの拡張となるかが大きく決まります。今のところ、Anthropic は少なくともその実験の最初の質問に答えました。ゲートは開いており、最初にゲートを通過する人々はアクセンチュアのバッジを持っています。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→