ベンチマーク企業の Artificial Analysis は、Intelligence Index のバージョン 5 を発表し、1 月に v4 がデビューして以来、複合モデルのランキングに対する最大のアップグレードであるとしています。見出しの変更: インデックスの 60% が初めて、民間のテスト セットまたは保留された回答による評価に基づいて構築されました。これは、公的リーダーボードの信頼を損なったベンチマーク汚染問題への直接の対応です。

人事異動はトップに明確な評決を下して行われる。 Claude Opus 5.5 (max) が v5 Index の 58 位でトップとなり、GPT-6 Astra (max) の 57 および GPT-6.1 Sol (max) の 55 を上回ります。 Anthropic と OpenAI が一緒に上位 5 位を占め、次に Google の Gemini 4 Argon (high) が 50 位です。 この件の詳細は、AIニュースをご覧ください。

v5 での変更点

v5 インデックスは、ナレッジ ワーク、コーディング、サイエンス、一般の 4 つの均等に重み付けされたカテゴリに編成されており、それぞれ 25% の価値があります。 2 つのベンチマークはまったく新しいもので、3 つはメジャー アップグレードされました。

  • FrontierCode 2.0 (新規)。 オープンソース リポジトリ内の 132 の実際のコーディング タスクの Cognition のプライベート ベンチマーク。リポジトリのメンテナが実際にエージェントの変更をマージするかどうかに基づいて評価されます。汚染を避けるためにタスクは非公開のままであり、Artificial Analysis は Stirrup エージェント ハーネスですべてのタスクを 3 回実行します。
  • ターミナル ベンチ サイエンス (新規)。 70 のエージェント科学研究タスクがターミナル環境で実行されます。タスクは、すべてのテストに合格した場合にのみ合格します。
  • HLE-Diamond (アップグレード) AI 安全性およびスケール AI センターによる人類最後の試験の 1,000 問の洗練されたバージョン。推論問題と知識問題が均等に分割され、元の HLE に置き換わります。
  • AA-Omniscience v1.1 (アップグレード) 飽和した一般的な質問が削除された、クリーンな知識と幻覚データセット。
  • CritPt v2 ハード サブセット (アップグレード)。 研究レベルの物理ベンチマークのプライベート 40 質問のハード サブセット。作成者によって改訂され、コード実行で実行されます。

インデックスから削除: GDPval-AA v2.1、SciCode、AA-LCR v1.1。 Artificial Analysis は、単一の連続スケールでモデルの能力を経時的に追跡する、コンパニオン Progress Index v1 もリリースしました。

クロード オーパス 5.5 が全体の首位に立つ

Claude Opus 5.5 (max) は、9 つの個別評価のうち 3 つでトップとなっています。FrontierCode 2.0 が 46 パーセント、HLE-Diamond が 68 パーセント、AA-Omniscience v1.1 が 48 パーセントです。単一のモデルがすべてをリードするということはありません。他の 5 つのモデルが残りの 6 つのベンチマークを上回っています。

GPT-6 Astra (max) は、ターミナル ベンチ サイエンスを 63 パーセントでリードし、CritPt v2 ハード サブセットを 72 パーセントでリードしており、長期的な科学研究における OpenAI の強みを裏付けています。 Claude Sonnet 5.5 は 1812 Elo で AA-Briefcase のトップとなり、Kimi's K3.1 Pro は Terminal-Bench 4.0 を 67% でリードし、Gemini 4 Argon は AutomationBench-AA を 78% でリードし、Muse Wonder Full は GDP.pdf をオールパス 33% でリードしています。

HLE-Diamond の結果には、明らかな詳細が含まれています。主要なモデルは、知識よりも推論のスコアがはるかに優れています。クロード オーパス 5.5 と GPT-6 アストラはどちらも推論問題では 78 パーセントに達しましたが、知識ではそれぞれ 58 パーセントと 50 パーセントに低下しました。これは、フロンティア システムでも依然として、推論スコアが示すよりも頻繁に幻覚や事実の欠如を示している証拠です。

無差別級のギャップトリプル

オープンウェイト エコシステムに関する最も厳粛な発見は、最高のオープン モデルと全体のリーダーとの差が 3 倍になり、v4.3 の 3 ポイントから v5 では 12 ポイントに拡大しました。

キミの K3.1 Pro は 46 でオープンウェイトのトップモデルですが、そのウェイトはまだ発表されていません。重量が公開されているモデルでは、DeepSeek の V4.1 Flash 1017 (最大) と Z.ai の GLM-5.3 (最大) が 32 ポイントでリードしており、Claude Opus 5.5 とそれ以下の Claude Haiku 5.5 (最大) の 36 ポイントに 26 ポイントの差をつけています。

ギャップは最も厳しいエージェント ベンチマークで最も大きくなります。 HLE-Diamond では、Kimi K3.1 Pro のスコアが 37 パーセントであるのに対し、Opus 5.5 のスコアは 68 パーセントです。 Terminal-Bench-Science では 34%、GPT-6 Astra では 63% でした。ベンチマークされたオープンウェイト モデルのほとんどは、サイエンス ベンチマークのスコアが 10% 未満です。

タスクごとの価格は 13 倍も変化します

コストは依然として決定的な変数です。最高スコアの 10 モデルの中で、GPT-6.1 Terra (最大) がインテリジェンス インデックス タスクあたり 0.96 ドルで最も安価ですが、Claude Fable 5.1 (最大) が 13.04 ドルで最も高価であり、その差は 13 倍以上です。

効率性の話はおそらく v5 の最も実用的なポイントです。GPT-6.1 Sol (max) のスコアは Claude Opus 5.5 の 4 ポイント以内でありながら、タスクあたりのコストは約 8 分の 1 で、Opus の 10.04 ドルに対して 1.27 ドルです。 GPT-6 Astra (max) は 6.24 ドルでそれらの中間に位置します。

プライベート ベンチマークが重要な理由

プライベート評価セットへの移行は、業界全体の問題を反映しています。つまり、パブリック ベンチマークがトレーニング データに漏洩して飽和し、リーダーボードの獲得が信頼できなくなるという問題です。 FrontierCode 2.0 では、タスクはメンテナが変更をマージするかどうかに基づいて評価され (ブロック チェックの失敗スコアは 0 になります)、タスク リストは非公開のままです。

そのため、v5 は最も難しいベンチマークの 1 つとなり、その評決には重みがあります。フロンティアは Anthropic と OpenAI によって主導されており、エフォート設定はこれまで以上に重要であり、オープンウェイト モデルは、現実世界の AI 作業をますます定義するエージェント タスクで回復するための重大な根拠を持っています。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →