Firma de referință Artificial Analysis a lansat versiunea 5 a Indicelui său de inteligență, numind-o cea mai mare actualizare a clasamentului său de modele compozite de la debutul v4 în ianuarie. Schimbarea titlului: pentru prima dată, 60 la sută din Index este construit pe evaluări cu seturi de teste private sau răspunsuri obținute - un răspuns direct la problemele de contaminare de referință care au erodat încrederea în clasamentele publice.

Remanierea vine cu un verdict clar în vârf. Claude Opus 5.5 (max) conduce indicele v5 la 58, înaintea GPT-6 Astra (max) la 57 și GPT-6.1 Sol (max) la 55. Anthropic și OpenAI dețin împreună primele cinci poziții, iar Gemini 4 Argon (maxime) de la Google urmează la 50. For more context on this story, see our ongoing AI news.

Ce s-a schimbat în v5

Indexul v5 este organizat în patru categorii egal ponderate — Lucru de cunoaștere, Codare, Știință și General — fiecare valorând 25 la sută. Două benchmark-uri sunt complet noi, iar trei au primit upgrade majore:

  • FrontierCode 2.0 (nou). Benchmarkul privat al Cognition de 132 de sarcini de codare din lumea reală în depozite cu sursă deschisă, evaluat în funcție de dacă un întreținător de depozit ar fuziona efectiv schimbarea agentului. Sarcinile rămân private pentru a evita contaminarea, iar Artificial Analysis rulează fiecare sarcină de trei ori în hamul său agent Stirrup.
  • Terminal-Bench-Science (nou). Șaptezeci de sarcini de cercetare științifică agentică executate într-un mediu terminal, în care o sarcină trece numai dacă fiecare dintre testele sale trece.
  • HLE-Diamond (actualizat). O versiune rafinată de 1.000 de întrebări a Ultimul examen al umanității de la Center for AI Safety and Scale AI, împărțită în mod egal între întrebările de raționament și cunoștințe, înlocuind HLE original.
  • AA-Omniscience v1.1 (actualizat). Un set de date curățate de cunoștințe și halucinații cu întrebări saturate și publice eliminate.
  • CritPt v2 hard subset (actualizat). Un subset hard privat de 40 de întrebări al benchmark-ului de fizică la nivel de cercetare, revizuit de autori și rulat cu execuție de cod.

Dispărut din index: GDPval-AA v2.1, SciCode și AA-LCR v1.1. Artificial Analysis a lansat, de asemenea, un indice de progres v1 însoțitor, care urmărește capacitatea modelului de-a lungul timpului pe o singură scară continuă.

Claude Opus 5.5 preia conducerea generală

Claude Opus 5.5 (max) conduce trei dintre cele nouă evaluări individuale: FrontierCode 2.0 la 46 la sută, HLE-Diamond la 68 la sută și AA-Omniscience v1.1 la 48 la sută. Nici un singur model nu conduce totul - alte cinci modele depășesc celelalte șase puncte de referință.

GPT-6 Astra (max) conduce Terminal-Bench-Science cu 63% și subsetul CritPt v2 hard cu 72%, confirmând puterea OpenAI în munca științifică pe orizont lung. Claude Sonnet 5.5 este liderul AA-Briefcase la 1812 Elo, Kimi K3.1 Pro conduce Terminal-Bench 4.0 cu 67%, Gemini 4 Argon conduce AutomationBench-AA cu 78%, iar Muse Wonder Full conduce GDP.pdf cu 33% all-pass.

Rezultatele HLE-Diamond conțin un detaliu grăitor: modelele de top au rezultate mult mai bune la raționament decât la cunoștințe. Claude Opus 5.5 și GPT-6 Astra au atins ambele 78 la sută la întrebările de raționament, dar scad la 58 și, respectiv, 50 la sută în ceea ce privește cunoștințe - dovadă că chiar și sistemele de frontieră încă halucinează sau le lipsesc faptele mai des decât sugerează scorurile lor de raționament.

Decalajul între greutăți deschise se triplează

Cea mai serioasă constatare pentru ecosistemul open-weights: diferența dintre cel mai bun model deschis și liderul general s-a triplat, lărgindu-se de la 3 puncte în v4.3 la 12 puncte în v5.

Kimi K3.1 Pro este modelul de top cu greutăți deschise la 46 de ani, dar greutățile sale nu au fost încă lansate. Printre modelele cu greutăți lansate, DeepSeek V4.1 Flash 1017 (max) și GLM-5.3 (max) de la Z.ai conduc la 32, cu 26 de puncte în spatele lui Claude Opus 5.5 și sub Claude Haiku 5.5 (max) la 36.

Diferența este cea mai mare pe cele mai dure repere agentice. Pe HLE-Diamond, Kimi K3.1 Pro are 37 la sută față de 68 la sută din Opus 5.5; pe Terminal-Bench-Science, 34 la sută față de GPT-6 Astra de 63 la sută. Cele mai multe modele cu ponderi deschise au punctat sub 10% la benchmarkul științific.

Prețul pe sarcină variază de treisprezece ori

Costul rămâne o variabilă decisivă. Dintre cele zece modele cu cel mai mare punctaj, GPT-6.1 Terra (max) este cel mai ieftin la 0,96 USD per sarcină Intelligence Index, în timp ce Claude Fable 5.1 (max) este cel mai scump la 13,04 USD - un spread de peste 13 ori.

Povestea eficienței este, fără îndoială, cea mai practică concluzie a v5: GPT-6.1 Sol (max) obține scoruri cu 4 puncte față de Claude Opus 5.5, în timp ce costă aproximativ o optime mai mult pe sarcină, la 1,27 USD față de 10,04 USD pentru Opus. GPT-6 Astra (max) se află între ele la 6,24 USD.

De ce contează benchmarkurile private

Trecerea către seturi de evaluare private reflectă o problemă la nivel de industrie: benchmark-urile publice se scurg în datele de antrenament și se saturează, făcând ca câștigurile clasamentului să fie imposibil de a avea încredere. Cu FrontierCode 2.0, sarcinile sunt evaluate în funcție de dacă un întreținător ar îmbina modificarea - cu orice eșec al verificării de blocare cu zero - și lista de activități rămâne privată.

Acest lucru face ca v5 să fie unul dintre punctele de referință mai dificile de jucat, iar verdictul său are greutate: frontiera este condusă de Anthropic și OpenAI, setările de efort contează mai mult ca niciodată, iar modelele cu greutăți deschise au un teren serios de recuperat pentru sarcinile agentice care definesc din ce în ce mai mult munca AI în lumea reală.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →