Benchmark tenan Analisis Ponggawa wis dibukak versi 5 saka Intelligence Index sawijining, nelpon iku upgrade paling gedhe kanggo peringkat model gabungan wiwit v4 debut ing Januari. Owah-owahan judhul: kanggo pisanan, 60 persen saka Indeks dibangun ing evaluasi karo set test pribadi utawa jawaban dianakaké-metu - respon langsung kanggo masalah kontaminasi pathokan sing wis eroded kapercayan ing leaderboards umum.

Reshuffle teka kanthi putusan sing jelas ing ndhuwur. Claude Opus 5.5 (maks) ndadékaké Indeks v5 ing 58, luwih saka GPT-6 Astra (maks) ing 57 lan GPT-6.1 Sol (maks) ing 55. Anthropic lan OpenAI bebarengan nyekel limang posisi paling dhuwur, karo Google Gemini 4 Argon (dhuwur) sabanjuré ing 50. For more context on this story, see our ongoing artificial intelligence updates.

Apa sing diganti ing v5

Indeks v5 diatur dadi papat kategori sing padha bobot - Karya Kawruh, Coding, Ilmu lan Umum - saben regane 25 persen. Rong pathokan kabeh anyar, lan telu nampa upgrade utama:

  • FrontierCode 2.0 (anyar). Kognisi pribadi pathokan saka 132 tugas coding ing donya nyata ing repositori mbukak-sumber, diklasifikasikaké ing apa maintainer gudang bener bakal nggabungake owah-owahan agen. Tugas tetep pribadi kanggo ngindhari kontaminasi, lan Analisis Ponggawa nindakake saben tugas kaping telu ing sabuk agen Stirrup.
  • Terminal-Bench-Science (anyar). Tujuh puluh tugas riset ilmiah agen dileksanakake ing lingkungan terminal, ngendi tugas liwat mung yen saben siji saka tes liwat.
  • HLE-Diamond (upgrade). Versi 1.000-pitakonan saka Ujian Terakhir Kemanusiaan saka Pusat Keamanan AI lan Skala AI, dipérang sacara merata antarane pitakonan pertimbangan lan kawruh, ngganti HLE asli.
  • AA-Omniscience v1.1 (nganyari). Kawruh lan data halusinasi sing wis diresiki kanthi pitakonan jenuh lan umum dibusak.
  • CritPt v2 hard subset (upgrade). A pribadi 40-pitakonan subset hard saka benchmark fisika tingkat riset, dipunrevisi dening penulis lan mbukak karo eksekusi kode.

Ical saka Index: GDPval-AA v2.1, SciCode lan AA-LCR v1.1. Analisis Artificial uga ngluncurake Indeks Kemajuan v1 pendamping, sing nglacak kemampuan model sajrone wektu ing skala terus-terusan.

Claude Opus 5.5 Mimpin Sakabèhé

Claude Opus 5.5 (max) ndadékaké telu saka sangang evaluasi individu: FrontierCode 2.0 ing 46 persen, HLE-Diamond ing 68 persen lan AA-Omniscience v1.1 ing 48. Ora model siji ndadékaké kabeh - limang model liyane ndhuwur enem benchmarks isih.

GPT-6 Astra (maks) mimpin Terminal-Bench-Science ing 63 persen lan CritPt v2 hard subset ing 72 persen, konfirmasi kekuatan OpenAI ing long-horizon karya ilmiah. Claude Sonnet 5.5 ndhuwur AA-Briefcase ing 1812 Elo, Kimi kang K3.1 Pro ndadékaké Terminal-Bench 4.0 ing 67 persen, Gemini 4 Argon ndadékaké AutomationBench-AA ing 78 persen, lan Muse Wonder Full ndadékaké GDP.pdf ing 33 persen kabeh-pass.

Asil HLE-Diamond ngemot rinci ngandhani: model anjog skor adoh luwih apik ing nalar saka ing kawruh. Claude Opus 5.5 lan GPT-6 Astra loro-lorone tekan 78 persen ing pitakonan penalaran, nanging mudhun nganti 58 lan 50 persen mungguh ing kawruh - bukti sing malah sistem wewatesan isih hallucinate utawa lack kasunyatan luwih asring saka skor nalar.

The Open-Weights Gap Triples

Temuan sing paling nyenengake kanggo ekosistem bobot mbukak: jurang antarane model mbukak paling apik lan pimpinan sakabèhé tikel kaping telu, mundhak saka 3 poin ing v4.3 dadi 12 poin ing v5.

Kimi's K3.1 Pro minangka model bobot mbukak paling dhuwur ing 46 - nanging bobote durung dirilis. Antarane model kanthi bobot sing dirilis, DeepSeek's V4.1 Flash 1017 (maks) lan Z.ai's GLM-5.3 (maks) timbal ing 32, kanthi 26 poin ing mburi Claude Opus 5.5 lan ngisor Claude Haiku 5.5 (maks) ing 36.

Longkangan paling amba ing pathokan agen paling angel. Ing HLE-Diamond, Kimi K3.1 Pro skor 37 persen nglawan Opus 5.5 68 persen; ing Terminal-Bench-Science, 34 persen marang GPT-6 Astra 63 persen. Umume model bobot mbukak skor benchmark ing ngisor 10 persen ing pathokan ilmu.

Rega Saben Tugas beda-beda Telulas Lipat

Biaya tetep dadi variabel sing nemtokake. Ing antarane sepuluh model skor paling dhuwur, GPT-6.1 Terra (max) paling murah ing $ 0,96 saben tugas Intelligence Index, nalika Claude Fable 5.1 (max) paling larang ing $ 13,04 - luwih saka 13-fold panyebaran.

Ing crita efficiency iku biso dibantah v5 paling praktis takeaway: GPT-6.1 Sol (max) nilai ing 4 TCTerms saka Claude Opus 5.5 nalika nggowo beyo bab siji-wolu minangka akeh saben tugas, ing $1.27 versus Opus $10.04. GPT-6 Astra (maks) lenggah ing antarane $6,24.

Apa Patokan Pribadi Matter

Pergeseran menyang set evaluasi pribadi nggambarake masalah ing saindenging industri: pathokan umum bocor menyang data latihan lan jenuh, nggawe papan pimpinan ora bisa dipercaya. Kanthi FrontierCode 2.0, tugas bakal diklasifikasikake manawa pangopènan bakal nggabungake owah-owahan - kanthi gagal mriksa pamblokiran kanthi skor nol - lan dhaptar tugas tetep pribadi.

Iki ndadekake v5 minangka salah sawijining pathokan sing luwih angel kanggo game, lan putusan kasebut nduweni bobot: wates dipimpin dening Anthropic lan OpenAI, setelan gaweyan luwih penting tinimbang sadurunge, lan model bobot mbukak duwe alasan serius kanggo mbalekake tugas agenik sing tambah akeh nemtokake karya AI ing donya nyata.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →