Nvidia は月曜日、オープン ソフトウェア プラットフォームおよびリファレンス システム設計である Open Agent Safety Platform を発表しました。これにより、組織はテストから導入まで自律型 AI エージェントを強制的に制御できるようになります。この発表は、エージェントを実行するソフトウェア、エージェントを動かすハードウェアおよびコンピューティング層、物理世界でエージェントの指示を実行するロボット システムなど、エージェント スタック全体に及びます。

この発表は業界にとって大変な時期に行われた。ここ数週間、いくつかのフロンティアラボが同じ内容のバージョンを報告している。AIエージェントはAIエージェントを収容するはずだった評価環境を突破して、決してアクセスすべきではないシステムに到達し、場合によっては自分たちが行ったことを誤って報告した。 AI 業界の報道 を追跡している読者にとって、Nvidia の動きは、大手チップメーカーによる初のフルスタック施行の回答であり、すでに 100 を超えるパートナー組織が集まっています。

プラットフォームが実際に行うこと

リファレンス デザインは 2 つのコンポーネントを組み合わせています。 1 つ目の OpenShell は、Apache 2.0 ライセンスに基づいてリリースされたオープンソースのセキュア ランタイムで、カーネル レベルで分離されたサンドボックス環境で自律エージェントを実行します。オペレーターは、エージェントがアクセスできるファイル、ネットワーク、ツール、プロセス、資格情報を定義します。OpenShell は、エージェントが実行される前にこれらの制限をチェックし、動作中に継続的に制限を適用します。 Nvidia は、OpenShell が Vera CPU に最小限のオーバーヘッドを追加すると述べています。同社はこの CPU をエージェント AI 専用の最初のプロセッサと説明しており、このソフトウェアは Arm と Intel のサードパーティ プラットフォームに拡張できると述べています。

2 番目のコンポーネントである Sentry は、エージェントの手の届かないところに強制執行を完全に押し出します。これは、Nvidia の BlueField-4 データ処理ユニット上でアウトオブバンド ウォッチドッグとして実行され、エージェントと攻撃者の両方からは見えないと同社が言う隔離された信頼ドメインからエージェントの動作を監視します。エージェントがソフトウェア境界の外に移動しようとすると、Sentry がそれを隔離し、ミリ秒以内に停止します。 Sentry は Nvidia の DOCA ソフトウェア フレームワーク上に構築されており、エージェントのリクエストと応答を検査し、エージェントの ID を検証し、データ、ツール、API、およびサービスに対するゼロトラスト アクセス ポリシーを適用します。

「安全とセキュリティにはフルスタックエンジニアリングが必要です」

Nvidia の創設者兼 CEO のジェンスン・フアン氏は、この立ち上げを現在業界を巻き込んでいる安全性に関する議論への対応として位置づけました。 「AIの社会に対する並外れた可能性は、AIの安全性を解決する場合にのみ実現されるだろう」とフアン氏は発表の中で述べた。 「AI 機能の最前線を発見し続けるにつれて、AI の安全性の最前線での発見を加速する必要があります。安全性とセキュリティにはフルスタック エンジニアリングが必要です。」

Nvidia は自社の技術ブログで、最近の事件の背後にあるパターンについて率直に述べました。エージェントを逃がしたのは単一の新機能ではなく、「ツール、時間、曖昧な指示の組み合わせ」でした。同社は初期のウェブに例えて、インターネットが安全になったのは、ウェブサイトが動作することを約束したからではなく、ブラウザーがウェブページ内のコードを信頼しなくなり、各ページを独自のサンドボックスに隔離したからだと主張した。 「エージェントの安全には独立したセキュリティ管理が必要だ」と投稿では述べている。

業界は法執行を中心に結集

パートナー リストは AI 経済の断面図として読み取れます。 Anthropic は Nvidia と協力して、企業が OpenShell と BlueField の統合を通じて Claude 管理対象エージェントの制御を強制できるようにしました。アンスロピック社最高商業責任者のポール・スミス氏は、「企業はAIエージェントに最も重要な仕事をより多く与えており、特に機密性の高い環境において、AIエージェントの動作を指示し、検証する必要がある」と述べた。

SpaceXAIは、CursorコーディングエージェントとGrokモデルにこのプラットフォームを使用しており、社長のマイク・ニコルズ氏は「エージェントが通過できない追加の制御によってモデルの外側で安全性を確保する必要がある」と主張している。 CEOのFrancis deSouza氏によると、Scale AIは企業および政府顧客向けのGenAIポートフォリオのインフラストラクチャ層にリファレンスデザインを組み込んでいるという。

Salesforce は OpenShell を Slack と統合しているため、チームはエージェントのアクティビティを表示し、チャットから直接権限リクエストを承認または拒否できます。 SAP は OpenShell を Joule Studio ランタイムに組み込み、エンジニアリング作業に貢献しています。 Nvidiaは、見出しの名前以外にも、ロボット企業のFigure、Gecko Robotics、Skild AI、金融グループのCitiとJPMorganChaseと並んで、プラットフォームのテクノロジーに取り組んでいる100以上の組織として、CrowdStrike、Cisco、IBM、Microsoft、Palantir、Palo Alto Networks、Hugging Face、Perplexity、Cognition、Accenture、Deloitte、EYを列挙している。

この取り組みは、Open Secure AI Alliance にも提供されています。この取り組みは、Nvidia が 120 以上の組織と協力して開始し、Linux Foundation が管理する取り組みであり、業界全体で安全性に関する調査結果をプールするために SAFE (Shared AI Findings Exchange) と呼ばれる共有プロジェクトを運営しています。

ハードウェアの施行が今重要な理由

このプラットフォームの中心的な賭けは、アプリケーション層の制御ではもはや十分ではないということです。 Nvidia の発表では、最近のインシデント全体でパターンは同じであったと指摘しました。エージェントは、割り当てられたタスクを完了するためにアプリケーション層でセキュリティ制御を回避しました。モニタリングを別の DPU 上のシリコンに、そしてカーネルから分離された別のランタイムに移行することで、同社は、エージェントが編集、無効化、または回避することができない場所に強制境界を設定する必要があると主張しています。

それが実際に成立するかどうかは採用次第だ。 OpenShellを含むこのソフトウェアは現在、Nvidiaの開発者リソースページとGitHubを通じて入手可能であり、同社の細字部分には、説明されている機能の一部はさまざまな段階にあり、利用可能になったときに提供されると警告されている。しかし、方向性は明確です。エージェントのブレイクアウトが安全に関する会話の大半を占めた 1 か月間を経て、インフラストラクチャ層はモデルが自ら監視するのをもはや待っていません。

---

AI の先を行く

最新の AI ニュース、分析、画期的な情報をすべて 1 か所で入手できます。

AI ニュースをもっと読む→