Anthropic は、フロンティア AI モデルを評価する非営利団体 METR のチームに対し、社内システム (社内のハードウェア、オフィス スペース、自社のリスク評価チームが使用するものとほぼ同等のツール) への「従業員と同様のアクセス」を提供し始めました。これにより、外部グループは、Anthropic のフロンティア モデルのリスクを独立して評価し、その結果を公開できるようになります。

水曜日にAnthropicのブログで発表されたこの取り決めは、AI企業が通常許容してきた監査形式の関係をさらに踏み込んだもので、METRはリスク評価の結果を公表するが、Anthropicは公表に拒否権を行使できないという目立つ条項が盛り込まれている。

「従業員と同様のアクセス」とは実際には何を意味するのか

6 人の METR 従業員は、会社のハードウェア、オフィス スペース、および内部ツールとシステムへのアクセスを導入されており、Anthropic は自社のリスク評価チームが提供しているものとほぼ同等であると説明しています。 Anthropic 社は、顧客に関するデータ、弁護士と依頼者の特権情報、モデル アーキテクチャに関する情報など、明確に定義された少数のカテゴリ以外では、従業員が調整リスクに取り組む同僚と同様に、METR チームと情報を共有することが奨励されていると述べています。

エンゲージメントは意図的に狭くされています。これは強制力のある協定に基づいて運営されている小規模なチームを対象としており、他のプロジェクトで Anthropic と協力している研究者を含め、他の METR 職員はそのチームの仕事から孤立しています。 Anthropic は、この設定により、Anthropic のセキュリティ標準に従って作業する資格のある少数の人々が会社の運営方法を詳細に把握できるようになると指摘しています。他の組織が Anthropic またはその顧客の情報を入手するためのチャネルではありません。

出版権、ガードレール付き

この契約に基づき、METR は Anthropic のリスク レベル、インシデント、または慣行の分析を公表します。 Anthropic は出版をブロックすることはできませんが、情報が上記の事前定義されたカテゴリに該当する場合は編集が必要になる可能性があります。また、何がこれらのカテゴリに該当するか、または該当しないのかは Anthropic 自身が決定します。 METR は、編集権限がミュート ボタンにならないように設計されたカウンターウェイトとして、受信したアクセスと情報のレベルについて特定の声明を発表する権利を留保します。

Anthropic がオープンになっている理由

この動きは、Anthropicが先月、自社のモデルと安全慣行に対する独立した第三者による評価を強化するという公約と、AI企業が独立した外部の監査人または評価者と提携することを約束したスーパーインテリジェンスに関するホワイトハウス合意への署名に続くものである。また、これは既存の関係を拡張するものでもあります。過去 1 年間、Anthropic は METR と協力してリスク レポートのいくつかのレビューに取り組みました。

ポートフォリオに含まれるのは METR だけではありません。 Anthropic は、SecureBio および Accenture とも評価者として協力しており (Accenture の学部は 9 月に同社初の組み込み評価者に指名された)、Hugging Face を含む他のいくつかの組織と初期の協議を行っていると述べた。これらの初期段階のパートナーシップには、どのような種類のパートナーシップが機能するかを会社が学習するまでの間、より制限された情報へのアクセスと出版権が与えられます。

銀行監督のたとえ

Anthropic 独自のフレームは金融から借用しています。銀行は自らのリスクポジションについて部外者よりもよく知っているため、規制当局は最大手の銀行内で働くよう常駐の検査官を任命している。銀行のリスクテイクが公衆を脅かす可能性がある場合、第三者はそれを事前に把握しようとします。同社は、組み込み評価をそのロジックの AI 業界版として位置づけています。これは、監視者よりも建設者が常に多くのことを知っている分野における堅牢な安全監視への一歩です。

その根底にあるのは、明示された目標です。それは、フロンティア AI 企業のシステムについて独立した評価者が理解していることと、企業自体が理解していることとの間のギャップを埋めることです。

評価者に必要なもの

この発表では、Anthropic 社が有意義な評価に必要と考えているものについても説明しています。それは、フロンティア モデルの機能を評価する専門知識です。これには、位置合わせの偽装などの現象によって評価がどのように誤る可能性があるかを理解することが含まれます。独立性。評価対象の会社に対する資本や財務的または運営上の依存がないことを意味します。リスクを有意義に評価するための十分なアクセス。最新のモデルを超えて、リスクがどのように訓練されたか、安全装置がどのように機能するかまで拡張します。モデルやプロセスの観察や評価を公開する自由。

業界全体のテストケース

アレンジメントはそのアウトプットで判断されます。新しいアクセス制度の下でMETRが初めて公表した評価では、従業員のようなアクセスによって本物の結果が得られるのか、それとも会社自身が定義する編集カテゴリによってトリミングされたレポートが得られるのかが示される。懐疑的な人は、Anthropic がカテゴリーの境界を管理しており、パイロット チームが小規模であることに注目するでしょう。支持者らは、Anthropic社が拒否権を行使できない出版権は、辺境の研究機関の間では真に目新しいものであることに注目するだろう。

いずれにせよ、業界は注目している。 METRの埋め込まれたアクセスが重要な調査結果を明らかにし、それを損なわずに公開すれば、このモデルはホワイトハウス協定に署名したすべての研究所にとって明白なテンプレートとなり、自主的な監視が義務付けられた監査の代わりになり得るかどうかを検討する政策立案者にとってのベンチマークとなる。 AI の安全性ポリシーとそれを形づくる AI 業界ニュース を継続的に報道するため、AI Buzz Wire は各展開を随時追跡しています。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→