『WIRED』が報じた評価会社Valsの新たなベンチマーク結果によると、誰でもダウンロードできるオープンウェイト中国モデルは、模擬企業ネットワークへの侵入においてOpenAIの最も有能なサイバーモデルとほぼ一致したという。
Vals の CyberOffense テストでは、OpenAI の GPT-6 Sol (同社がアクセス制限付きの Daybreak サイバー プログラムを通じてのみ提供している) は、目標の約 81% を達成しました。無料のオープンウェイト リリースである DeepSeek V4.1 Flash は、完全自律エージェントとして実行され、同じ目標の約 73% を完了しました。他のトラッカーは、DeepSeek の見出しの数字を 72.8 パーセントとしています。
「信頼できるアクセス AI に限定されていたサイバー機能が、今や誰でも利用できるようになりました」と Vals 氏はその結果の中で述べています。 Valsの研究者ニキル・ラヴィ氏は『WIRED』に対し、AI研究所内に閉じ込められていた最良のモデルが「誰でもダウンロードできるオープンモデルと同等になり始めている」と語った。
Vals がテストを実行した方法
Vals の CyberOffense ベンチマークでは、2 つのシミュレートされたサイバー範囲が使用されます。 1 つ目は Nova と呼ばれ、複数の Active Directory ドメインにまたがる 21 の目的の Windows ネットワークです。 2 つ目の Lighthouse には、2 つの企業にわたる 31 の目標が含まれており、エージェントはまず 1 つのネットワークを乗っ取り、次にそこにある認証情報と情報を使用して 2 つ目のネットワークに侵入する必要があります。これは、現実世界の多段階侵入を反映したシナリオです。
各モデルは、48 時間の時間制限と 5 億トークンの予算で、隔離された Kali Linux マシン上のオープンソース Pi エージェントで実行されました。重要なのは、Vals が目標を達成したのはコマンド出力に隠れたマーカーが表示された場合のみであり、モデル自身がそれが成功したと主張したことは決してありませんでした。
数字とコストのギャップ
DeepSeek は Nova の 21 の目標のうち平均 16.3 を達成し、実際に最初のネットワークで Daybreak の 15.7 を上回りました。 Daybreak はより困難な Lighthouse 範囲で先頭に立ち、DeepSeek の 21 目標に対して 31 目標中 27 を完了しました。
さらに顕著な違いはコストでした。 WIRED は、完全な攻撃実行の価格を、GPT-6 Sol の場合は 17 ～ 46 ドルであるのに対し、DeepSeek の場合はおよそ 2 ～ 3 ドルと見積もっています。特に Nova シリーズでは、DeepSeek は実行あたり 3 ドル未満で作業を完了しましたが、Daybreak では約 22 ドルでした。
Vals 氏はまた、DeepSeek は最初の 2,500 万トークンでは何も完了せず、1 億トークン以降にほとんどの進歩を遂げたことを観察しました。このペース プロファイルは、時間と予算が与えられた場合に、安価なオープン モデルが実行できることを体系的に過小評価していることを示唆する、短期間でコンピューティングに上限のある評価を示唆しています。
他のモデルはどうだったのか
ディープシークは無差別級で無差別にトップに立ったわけではありませんが、他の誰もそれを捕まえることはできませんでした。 Vals の 7 モデル比較では、Kimi K3.1 Pro、Meta's Wonder、xAI の Grok 4.7 がすべて DeepSeek に次ぐ結果となりました。
Z.ai の GLM 5.3 Flash が最下位となり、各距離で 5 つの目標を達成しました。 Vals 氏は、これをグループの中で「最も明確な行き止まり」と呼んでいました。ある範囲で、モデルは約 36 時間を費やしましたが、その時間の多くはバックグラウンド ジョブのポーリングに費やされ、返されることはありませんでした。
他の評価者は、完全な GLM-5.3 モデルをサイバー タスクに関してかなり高く評価しています。テスト会社イレギュラーは、13 の多段階攻撃シナリオのうち 3 つを完了したことを発見しました。これは、公開されているモデルから記録された最高の結果です。NIST は、これをこれまでにリリースされた最も有能なオープンウェイトサイバーモデルと呼び、米国の主要システムより約 4 か月遅れていると推定しています。 Anthropic は別途ロイターに対し、GLM-5.3 は試行の 12% で実用的なエクスプロイトを構築したが、クロード神話では 14% だったと語った。 Vals 氏は、これらは異なるテストであり、そのスコアを CyberOffense の結果と直接比較することはできないと述べています。
なぜそれが重要なのか
この結果は、最先端の AI サイバー能力を取り巻く安全ガードレールに関する進行中の議論をさらに鮮明にします。 OpenAI の Daybreak プログラムは、攻撃的なサイバー能力は自由に配布されるべきではないという理論に基づいて、高能力のサイバー モデルを身元確認や制限されたアクセスの背後に維持するために特別に存在します。無料ダウンロードが制限付きモデルにわずか数ポイントの差をつけているだけで、操作あたりのコストは桁違いに安くなりますが、状況はかなり複雑になります。
それはディフェンダーにとっても重要だ。 AI 支援型攻撃者に対する計画を立てるセキュリティ チームは、本格的な自律攻撃機能を実現するには、ラボの制限されたモデルへのアクセスや多額の予算が必要であるとはもはや想定できません。 Vals 自身の枠組みが示唆しているように、アクセス制御がそれを抑えることができるよりも速く、機能の下限が上昇しています。
OpenAIはレポート内の比較についてコメントしていない。 DeepSeekはコメントの要請にすぐには応じなかった。
テスト方法の課題
見出しのスコアを超えて、結果は AI のサイバー能力がどのように測定されるかについての教訓をもたらします。 Vals の設計上の選択、つまり 48 時間という長い期間、5 億トークンの予算、自己報告による成功ではなく隠れたマーカーによる検証などは、エージェント システムを公正に評価するために必要であるとますます見なされています。起動が遅く、より多くのコンピューティングによって出現したマスキング機能を考慮すると、より短く、より安価なテスト実行では、DeepSeek のスコアははるかに低かった可能性があります。
それは政策に実際的な影響を及ぼします。 OpenAI の Daybreak プログラムのようなアクセス制限は、測定された機能に基づいて調整されており、評価方法がオープン モデルでできることを体系的に過小評価している場合、ガードレールは現実より遅れる可能性があります。同社が更新を続けるとしている Vals の CyberOffense リーダーボードは、その結果、AI セキュリティ コミュニティで最も注目されるスコアボードの 1 つになる可能性があります。
今のところ、データから得られるメッセージは率直だ。制限されたプログラムの背後で研究室が守っているものと誰でもダウンロードできるものとの間のギャップは、間もなくモデルの世代ではなく数か月で測定されるところまで縮まりつつある。
