Benchmark firm Artificial Analysis has launched version 5 of its Intelligence Index, calling it the biggest upgrade to its composite model ranking since v4 debuted in January. The headline change: for the first time, 60 percent of the Index is built on evaluations with private test sets or held-out answers — a direct response to the benchmark contamination problems that have eroded trust in public leaderboards.
Le remaniement arrive avec un verdict clair au sommet. Claude Opus 5.5 (max) leads the v5 Index at 58, ahead of GPT-6 Astra (max) at 57 and GPT-6.1 Sol (max) at 55. Anthropic and OpenAI together hold the top five positions, with Google's Gemini 4 Argon (high) next at 50. Pour plus de contexte sur cette histoire, consultez notre plus d'articles sur l'IA.
Ce qui a changé dans la v5
L'indice v5 est organisé en quatre catégories équipondérées : travaux de connaissances, codage, sciences et général, chacune valant 25 %. Deux benchmarks sont entièrement nouveaux et trois ont reçu des mises à niveau majeures :
- FrontierCode 2.0 (new). Cognition's private benchmark of 132 real-world coding tasks in open-source repositories, graded on whether a repository maintainer would actually merge the agent's change. Les tâches restent privées pour éviter toute contamination, et Artificial Analysis exécute chaque tâche trois fois dans son harnais agent Stirrup.
- Terminal-Bench-Science (new). Seventy agentic scientific research tasks executed in a terminal environment, where a task passes only if every one of its tests passes.
- HLE-Diamond (upgraded). A refined 1,000-question version of Humanity's Last Exam from the Center for AI Safety and Scale AI, split evenly between reasoning and knowledge questions, replacing the original HLE.
- AA-Omniscience v1.1 (mis à niveau). Un ensemble de données de connaissances et d'hallucinations nettoyé avec les questions saturées et publiques supprimées.
- CritPt v2 hard subset (upgraded). A private 40-question hard subset of the research-level physics benchmark, revised by its authors and run with code execution.
Fini l'index : GDPval-AA v2.1, SciCode et AA-LCR v1.1. Artificial Analysis a également lancé un Progress Index v1, qui suit la capacité du modèle au fil du temps sur une seule échelle continue.
Claude Opus 5.5 prend la tête du classement général
Claude Opus 5.5 (max) leads three of the nine individual evaluations: FrontierCode 2.0 at 46 percent, HLE-Diamond at 68 percent and AA-Omniscience v1.1 at 48. No single model leads everything — five other models top the remaining six benchmarks.
GPT-6 Astra (max) est en tête de Terminal-Bench-Science à 63 % et du sous-ensemble dur CritPt v2 à 72 %, confirmant la force d'OpenAI dans les travaux scientifiques à long terme. Claude Sonnet 5.5 tops AA-Briefcase at 1812 Elo, Kimi's K3.1 Pro leads Terminal-Bench 4.0 at 67 percent, Gemini 4 Argon leads AutomationBench-AA at 78 percent, and Muse Wonder Full leads GDP.pdf at 33 percent all-pass.
Les résultats de HLE-Diamond contiennent un détail révélateur : les principaux modèles obtiennent de bien meilleurs résultats en termes de raisonnement que de connaissances. Claude Opus 5.5 et GPT-6 Astra atteignent tous deux 78 % sur les questions de raisonnement, mais chutent respectivement à 58 et 50 % sur la connaissance – preuve que même les systèmes frontières ont encore des hallucinations ou manquent de faits plus souvent que ne le suggèrent leurs scores de raisonnement.
L'écart des poids ouverts triple
The most sobering finding for the open-weights ecosystem: the gap between the best open model and the overall leader tripled, widening from 3 points in v4.3 to 12 points in v5.
Le K3.1 Pro de Kimi est le meilleur modèle à poids ouverts à 46 ans – mais ses poids n'ont pas encore été publiés. Among models with released weights, DeepSeek's V4.1 Flash 1017 (max) and Z.ai's GLM-5.3 (max) lead at 32, a full 26 points behind Claude Opus 5.5 and below Claude Haiku 5.5 (max) at 36.
L’écart est le plus grand sur les benchmarks agents les plus difficiles. Sur HLE-Diamond, Kimi K3.1 Pro obtient un score de 37 pour cent contre 68 pour cent pour l'Opus 5.5 ; sur Terminal-Bench-Science, 34 pour cent contre 63 pour cent pour GPT-6 Astra. La plupart des modèles à pondération ouverte évalués obtiennent un score inférieur à 10 % sur le critère scientifique.
Le prix par tâche varie de treize fois
Le coût reste une variable déterminante. Parmi les dix modèles les plus performants, GPT-6.1 Terra (max) est le moins cher à 0,96 $ par tâche Intelligence Index, tandis que Claude Fable 5.1 (max) est le plus cher à 13,04 $, soit un écart de plus de 13 fois.
The efficiency story is arguably v5's most practical takeaway: GPT-6.1 Sol (max) scores within 4 points of Claude Opus 5.5 while costing about one-eighth as much per task, at $1.27 versus Opus's $10.04. GPT-6 Astra (max) se situe entre eux à 6,24 $.
Pourquoi les benchmarks privés sont importants
L'évolution vers des ensembles d'évaluation privés reflète un problème à l'échelle de l'industrie : les références publiques s'infiltrent dans les données de formation et saturent, rendant les gains du classement impossibles à faire confiance. Avec FrontierCode 2.0, les tâches sont évaluées selon que le responsable fusionnerait la modification (tout échec de vérification bloquant obtenant un score de zéro) et la liste des tâches reste privée.
Cela fait de la v5 l'un des benchmarks les plus difficiles à jouer, et son verdict a du poids : la frontière est dominée par Anthropic et OpenAI, les paramètres d'effort sont plus importants que jamais, et les modèles à pondération ouverte ont de sérieux points à récupérer sur les tâches agentiques qui définissent de plus en plus le travail de l'IA dans le monde réel.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
