Srovnávací společnost Artificial Analysis spustila verzi 5 svého indexu inteligence a označila ji za největší upgrade svého hodnocení kompozitních modelů od uvedení verze 4 v lednu. Hlavní změna: poprvé je 60 procent indexu postaveno na hodnoceních se soukromými testovacími sadami nebo odloženými odpověďmi – přímou reakcí na problémy s kontaminací benchmarků, které narušily důvěru ve veřejné žebříčky.

Přeskupení přichází s jasným verdiktem na vrcholu. Claude Opus 5.5 (max) vede index v5 na 58, před GPT-6 Astra (max) na 57 a GPT-6.1 Sol (max) na 55. Anthropic a OpenAI společně drží prvních pět pozic, další jsou Gemini 4 Argon od Google (high) na 50. For more context on this story, see our ongoing latest AI developments.

Co se změnilo ve verzi 5

Index v5 je uspořádán do čtyř stejně vážených kategorií – znalostní práce, kódování, věda a obecné – každá v hodnotě 25 procent. Dva benchmarky jsou zcela nové a tři obdržely velké aktualizace:

  • FrontierCode 2.0 (nový). Soukromý benchmark Cognition se 132 reálnými úlohami kódování v repozitářích s otevřeným zdrojovým kódem, odstupňovaný podle toho, zda správce repozitáře skutečně začlení změnu agenta. Úkoly zůstávají soukromé, aby se zabránilo kontaminaci, a umělá analýza spustí každý úkol třikrát ve svém agentském svazku třmenů.
  • Terminal-Bench-Science (nové). Sedmdesát úloh agentního vědeckého výzkumu prováděných v terminálovém prostředí, kde úloha projde pouze tehdy, pokud projde každý její test.
  • HLE-Diamond (upgradovaný). Vylepšená verze poslední zkoušky Humanity's Last Exam s 1 000 otázkami od Center for AI Safety and Scale AI, rozdělená rovnoměrně mezi otázky týkající se uvažování a znalostí a nahrazuje původní HLE.
  • AA-Omniscience v1.1 (upgradováno). Vyčištěná datová sada znalostí a halucinací s odstraněnými nasycenými a veřejnými otázkami.
  • Pevná podmnožina CritPt v2 (upgradovaná). Soukromá tvrdá podmnožina s 40 otázkami fyzikálního benchmarku na úrovni výzkumu, revidovaná jejími autory a spuštěná se spuštěním kódu.

Pryč z indexu: GDPval-AA v2.1, SciCode a AA-LCR v1.1. Umělá analýza také spustila doprovodný index pokroku v1, který sleduje schopnosti modelu v průběhu času na jediném souvislém měřítku.

Claude Opus 5.5 se ujímá celkového vedení

Claude Opus 5.5 (max) vede tři z devíti individuálních hodnocení: FrontierCode 2.0 se 46 procenty, HLE-Diamond se 68 procenty a AA-Omniscience v1.1 se 48. Žádný model nevede všechno – pět dalších modelů převyšuje zbývajících šest benchmarků.

GPT-6 Astra (max) vede Terminal-Bench-Science se 63 procenty a podskupinou CritPt v2 hard se 72 procenty, což potvrzuje sílu OpenAI ve vědecké práci s dlouhým horizontem. Claude Sonnet 5.5 vede AA-Briefcase na 1812 Elo, Kimi's K3.1 Pro vede Terminal-Bench 4.0 s 67 procenty, Gemini 4 Argon vede AutomationBench-AA se 78 procenty a Muse Wonder Full vede GDP.pdf s 33 procenty all-pass.

Výsledky HLE-Diamond obsahují výmluvný detail: přední modely dosahují mnohem lepších výsledků v uvažování než ve znalostech. Claude Opus 5.5 a GPT-6 Astra dosáhly 78 procent v otázkách uvažování, ale klesly na 58 a 50 procent v případě znalostí – důkaz, že i hraniční systémy stále halucinují nebo postrádají fakta častěji, než naznačuje jejich skóre uvažování.

The Open-Weights Gap Triple

Nejsmutnější zjištění pro ekosystém otevřených vah: propast mezi nejlepším otevřeným modelem a celkovým lídrem se ztrojnásobila a rozšířila se ze 3 bodů ve verzi 4.3 na 12 bodů ve verzi 5.

Kimi's K3.1 Pro je nejlepší model s otevřenou váhou se 46 – ale jeho hmotnosti ještě nebyly zveřejněny. Mezi modely s uvolněnými hmotnostmi vedou DeepSeek V4.1 Flash 1017 (max) a Z.ai GLM-5.3 (max) na 32, celých 26 bodů za Claude Opus 5.5 a pod Claude Haiku 5.5 (max) na 36.

Rozdíl je nejširší u nejtvrdších agentních benchmarků. Na HLE-Diamond má Kimi K3.1 Pro skóre 37 procent oproti Opus 5.5 68 procent; na Terminal-Bench-Science, 34 procent oproti 63 procentům GPT-6 Astra. Většina srovnávacích modelů s otevřenými váhami má ve vědeckém benchmarku méně než 10 procent.

Cena za úkol se liší třináctinásobně

Rozhodující proměnnou zůstává cena. Mezi deseti modely s nejvyšším skóre je GPT-6.1 Terra (max) nejlevnější s cenou 0,96 USD na úlohu Intelligence Index, zatímco Claude Fable 5.1 (max) je nejdražší za 13,04 USD – což je více než 13násobné rozpětí.

Příběh o efektivitě je pravděpodobně nejpraktičtějším řešením verze 5: GPT-6.1 Sol (max) dosahuje skóre v rozmezí 4 bodů od Claude Opus 5.5, přičemž stojí přibližně jednu osminu za úkol, 1,27 USD oproti 10,04 USD u Opusu. GPT-6 Astra (max) stojí mezi nimi za 6,24 $.

Proč na soukromých benchmarkech záleží

Posun směrem k soukromým hodnotám odráží celoodvětvový problém: veřejné benchmarky prosakují do tréninkových dat a nasycují se, takže zisky v žebříčku nelze věřit. S FrontierCode 2.0 jsou úkoly odstupňovány podle toho, zda by správce začlenil změnu – s nulovým skóre selhání kontroly blokování – a seznam úkolů zůstává soukromý.

Díky tomu je v5 jedním z těžších měřítek hry a jeho verdikt má váhu: hranice je vedena Anthropic a OpenAI, na nastavení úsilí záleží více než kdy jindy a modely s otevřenými váhami mají vážnou půdu pro zotavení z agentních úkolů, které stále více definují práci AI v reálném světě.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →