Benchmarkföretaget Artificial Analysis har lanserat version 5 av sitt Intelligence Index, vilket kallar det den största uppgraderingen av sin sammansatta modellrankning sedan v4 debuterade i januari. Rubrikändringen: för första gången är 60 procent av indexet byggt på utvärderingar med privata testuppsättningar eller uthållna svar - ett direkt svar på problem med riktmärke föroreningar som har urholkat förtroendet för offentliga topplistor.

Ombildningen kommer med en tydlig dom i toppen. Claude Opus 5.5 (max) leder v5 Index på 58, före GPT-6 Astra (max) på 57 och GPT-6.1 Sol (max) på 55. Anthropic och OpenAI håller tillsammans de fem bästa positionerna, med Googles Gemini 4 Argon (hög) nästa på 50. For more context on this story, see our ongoing more AI stories.

Vad ändrades i v5

v5-indexet är organiserat i fyra lika viktade kategorier – Kunskapsarbete, Kodning, Vetenskap och Allmänt – var och en värd 25 procent. Två riktmärken är helt nya, och tre har fått stora uppgraderingar:

  • FrontierCode 2.0 (ny). Cognitions privata riktmärke av 132 verkliga kodningsuppgifter i arkiv med öppen källkod, betygsatt på om en arkivunderhållare faktiskt skulle slå samman agentens förändring. Uppgifterna förblir privata för att undvika kontaminering, och Artificiell analys kör varje uppgift tre gånger i sin Stirrup agentsele.
  • Terminal-Bench-Science (ny). Sjuttio agentiska vetenskapliga forskningsuppgifter utförda i en terminalmiljö, där en uppgift bara godkänns om vart och ett av dess tester godkänns.
  • HLE-Diamond (uppgraderad). En förfinad version med 1 000 frågor av Humanity's Last Exam från Center for AI Safety and Scale AI, jämnt fördelad mellan resonemang och kunskapsfrågor, som ersätter den ursprungliga HLE.
  • AA-Omniscience v1.1 (uppgraderad). En rensat kunskaps- och hallucinationsdatauppsättning med mättade och offentliga frågor borttagna.
  • CritPt v2 hård delmängd (uppgraderad). En privat 40-frågor hård delmängd av riktmärket för fysik på forskningsnivå, reviderat av dess författare och kört med kodexekvering.

Borta från indexet: GDPval-AA v2.1, SciCode och AA-LCR v1.1. Artificiell analys lanserade också ett kompletterande Progress Index v1, som spårar modellkapacitet över tid på en enda kontinuerlig skala.

Claude Opus 5.5 tar den totala ledningen

Claude Opus 5.5 (max) leder tre av de nio individuella utvärderingarna: FrontierCode 2.0 på 46 procent, HLE-Diamond på 68 procent och AA-Omniscience v1.1 på 48. Ingen enskild modell leder allt – fem andra modeller toppar de återstående sex riktmärkena.

GPT-6 Astra (max) leder Terminal-Bench-Science med 63 procent och CritPt v2 hårda delmängden på 72 procent, vilket bekräftar OpenAI:s styrka i vetenskapligt arbete med lång horisont. Claude Sonnet 5.5 toppar AA-portföljen vid 1812 Elo, Kimis K3.1 Pro leder Terminal-Bench 4.0 med 67 procent, Gemini 4 Argon leder AutomationBench-AA med 78 procent och Muse Wonder Full leder GDP.pdf med 33 procent all-pass.

HLE-Diamond-resultaten innehåller en talande detalj: de ledande modellerna får mycket bättre resultat på resonemang än på kunskap. Claude Opus 5.5 och GPT-6 Astra träffar båda 78 procent på resonemangsfrågor, men sjunker till 58 respektive 50 procent på kunskap – bevis på att även gränssystem fortfarande hallucinerar eller saknar fakta oftare än vad deras resonemangsresultat antyder.

Det öppna viktgapet tredubblas

Det mest nyktra fyndet för ekosystemet med öppna vikter: gapet mellan den bästa öppna modellen och den totala ledaren tredubblades, och ökade från 3 poäng i v4.3 till 12 poäng i v5.

Kimis K3.1 Pro är den bästa modellen med öppna vikter på 46 — men dess vikter har ännu inte släppts. Bland modeller med släppta vikter leder DeepSeeks V4.1 Flash 1017 (max) och Z.ai:s GLM-5.3 (max) på 32, hela 26 poäng bakom Claude Opus 5.5 och under Claude Haiku 5.5 (max) på 36.

Klyftan är störst på de svåraste agenterna. På HLE-Diamond får Kimi K3.1 Pro 37 procent mot Opus 5,5:s 68 procent; på Terminal-Bench-Science, 34 procent mot GPT-6 Astras 63 procent. De flesta benchmarkade modeller med öppen vikt får under 10 procent på det vetenskapliga riktmärket.

Pris per uppgift varierar trettonfaldigt

Kostnaden förblir en avgörande variabel. Bland de tio modellerna med högst poäng är GPT-6.1 Terra (max) den billigaste till 0,96 USD per uppgift i Intelligence Index, medan Claude Fable 5.1 (max) är den dyraste på 13,04 USD – en mer än 13-faldig spridning.

Effektivitetshistorien är utan tvekan v5:s mest praktiska takeaway: GPT-6.1 Sol (max) poäng inom 4 poäng från Claude Opus 5.5 samtidigt som det kostar ungefär en åttondel så mycket per uppgift, till $1,27 jämfört med Opus $10,04. GPT-6 Astra (max) ligger mellan dem på $6,24.

Varför privata riktmärken är viktiga

Övergången till privata utvärderingsset återspeglar ett branschomfattande problem: offentliga riktmärken läcker in i träningsdata och mättas, vilket gör resultattavlan omöjlig att lita på. Med FrontierCode 2.0 graderas uppgifter efter huruvida en underhållare skulle slå samman ändringen – med eventuella blockeringskontroller som får noll – och uppgiftslistan förblir privat.

Det gör v5 till ett av de svårare riktmärkena för spel, och dess dom väger tungt: gränsen leds av Anthropic och OpenAI, ansträngningsinställningar är viktigare än någonsin, och modeller med öppen vikt har allvarliga förutsättningar att återhämta sig på de agentuppgifter som alltmer definierar verkligt AI-arbete.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →