Kampuni ya Benchmark Artificial Analysis imezindua toleo la 5 la Kielezo chake cha Ujasusi, na kulitaja kuwa uboreshaji mkubwa zaidi kwa nafasi yake ya muundo wa muundo tangu v4 ilipoonyeshwa kwa mara ya kwanza Januari. Mabadiliko ya kichwa: kwa mara ya kwanza, asilimia 60 ya Fahirisi imejengwa juu ya tathmini zilizo na seti za majaribio za kibinafsi au majibu yasiyotarajiwa - jibu la moja kwa moja kwa matatizo ya uchafuzi wa benchmark ambayo yameondoa uaminifu katika bao za wanaoongoza za umma.

Mabadiliko yanakuja na uamuzi wazi juu. Claude Opus 5.5 (max) anaongoza Kielezo cha v5 akiwa na 58, mbele ya GPT-6 Astra (max) kwa 57 na GPT-6.1 Sol (max) kwa 55. Anthropic na OpenAI kwa pamoja wanashikilia nafasi tano za juu, Gemini 4 Argon ya Google (juu) ikifuata kwa 50. For more context on this story, see our ongoing artificial intelligence updates.

Kilichobadilika katika v5

Kielezo cha v5 kimepangwa katika kategoria nne zenye uzani sawa - Kazi ya Maarifa, Usimbaji, Sayansi na Jumla - kila moja ikiwa na thamani ya asilimia 25. Vigezo viwili ni vipya kabisa, na vitatu vilipokea maboresho makubwa:

  • FrontierCode 2.0 (mpya). Kigezo cha faragha cha Utambuzi cha kazi 132 za ulimwengu halisi za usimbaji katika hazina za chanzo huria, zilizowekwa kwenye daraja la kama mtunza hazina ataunganisha mabadiliko ya wakala. Majukumu hukaa kwa faragha ili kuepusha uchafuzi, na Uchanganuzi Bandia hutekeleza kila kazi mara tatu katika uunganisho wake wa kikali wa Stirup.
  • Terminal-Bench-Science (mpya). Majukumu sabini ya utafiti wa kisayansi ya kisayansi hutekelezwa katika mazingira ya mwisho, ambapo kazi hupita ikiwa tu kila moja ya majaribio yake yatafaulu.
  • HLE-Diamond (imeboreshwa). Toleo lililoboreshwa la maswali 1,000 la Mtihani wa Mwisho wa Binadamu kutoka Kituo cha Usalama wa AI na Mizani ya AI, limegawanyika sawasawa kati ya maswali ya hoja na maarifa, na kuchukua nafasi ya HLE asili.
  • AA-Omniscience v1.1 (imeboreshwa). Seti ya data iliyosafishwa ya maarifa na uvumbuzi iliyo na maswali yaliyojaa na ya umma kuondolewa.
  • Seti ndogo ngumu ya CritPt v2 (imeboreshwa). Seti ndogo ya kibinafsi yenye maswali 40 ya kiwango cha fizikia cha kiwango cha utafiti, iliyorekebishwa na waandishi wake na kuendeshwa kwa utekelezaji wa msimbo.

Imeondoka kwenye Kielezo: GDPval-AA v2.1, SciCode na AA-LCR v1.1. Uchanganuzi Bandia pia ulizindua Kielezo Sahihi cha Maendeleo v1, ambacho hufuatilia uwezo wa kielelezo kwa muda kwa kipimo kimoja endelevu.

Claude Opus 5.5 Anaongoza Kwa Jumla

Claude Opus 5.5 (max) anaongoza tathmini tatu kati ya tisa za mtu binafsi: FrontierCode 2.0 kwa asilimia 46, HLE-Diamond kwa asilimia 68 na AA-Omniscience v1.1 kwa 48. Hakuna mfano mmoja unaoongoza kila kitu - mifano mingine mitano juu ya vigezo sita vilivyobaki.

GPT-6 Astra (max) inaongoza Terminal-Bench-Science kwa asilimia 63 na CritPt v2 hard subset kwa asilimia 72, kuthibitisha nguvu ya OpenAI katika kazi ya kisayansi ya muda mrefu. Claude Sonnet 5.5 anaongoza AA-Briefcase katika 1812 Elo, Kimi's K3.1 Pro inaongoza Terminal-Bench 4.0 kwa asilimia 67, Gemini 4 Argon inaongoza AutomationBench-AA kwa asilimia 78, na Muse Wonder Full inaongoza GDP.pdf kwa asilimia 33 ya pasi zote.

Matokeo ya HLE-Diamond yana maelezo ya kueleweka: miundo inayoongoza ina alama bora zaidi kwenye hoja kuliko maarifa. Claude Opus 5.5 na GPT-6 Astra zote ziligonga asilimia 78 kwenye maswali ya hoja, lakini zilishuka hadi asilimia 58 na 50 mtawalia juu ya maarifa - ushahidi kwamba hata mifumo ya mipaka bado inadanganya au haina ukweli mara nyingi zaidi kuliko alama zao za kufikiria zinapendekeza.

Pengo la Uzito Wazi Mara Tatu

Ugunduzi muhimu zaidi wa mfumo wa uzani huria: pengo kati ya muundo bora ulio wazi na kiongozi wa jumla uliongezeka mara tatu, ikipanuka kutoka pointi 3 katika v4.3 hadi pointi 12 katika v5.

Kimi's K3.1 Pro ndiye kielelezo cha juu cha uzani wa wazi akiwa na 46 - lakini uzani wake bado haujatolewa. Miongoni mwa miundo iliyo na uzani uliotolewa, DeepSeek's V4.1 Flash 1017 (max) na Z.ai's GLM-5.3 (max) inaongoza kwa 32, pointi 26 kamili nyuma ya Claude Opus 5.5 na chini ya Claude Haiku 5.5 (max) kwa 36.

Pengo ni pana zaidi kwenye vigezo vigumu vya mawakala. Kwenye HLE-Diamond, Kimi K3.1 Pro alipata asilimia 37 dhidi ya asilimia 68 ya Opus 5.5; kwenye Terminal-Bench-Science, asilimia 34 dhidi ya asilimia 63 ya GPT-6 Astra. Miundo mingi ya uzani huria ilionyesha alama chini ya asilimia 10 kwenye benchmark ya sayansi.

Bei Kwa Kila Kazi Hutofautiana Mara Kumi na Tatu

Gharama inabaki kuwa tofauti inayoamua. Miongoni mwa miundo kumi iliyopata alama nyingi zaidi, GPT-6.1 Terra (kiwango cha juu zaidi) ndiyo ya bei nafuu zaidi kwa $0.96 kwa kila kazi ya Kielezo cha Ujasusi, huku Claude Fable 5.1 (max) ni ghali zaidi kwa $13.04 - kuenea zaidi ya mara 13.

Hadithi ya ufanisi inachukuliwa kuwa bora zaidi ya v5 ya kuchukua: Alama za GPT-6.1 Sol (za juu) ndani ya pointi 4 za Claude Opus 5.5 huku zikigharimu takriban moja ya nane kwa kila kazi, kwa $1.27 dhidi ya $10.04 za Opus. GPT-6 Astra (max) inakaa kati yao kwa $6.24.

Kwa Nini Vigezo vya Kibinafsi Ni Muhimu

Mabadiliko ya kuelekea seti za tathmini ya kibinafsi yanaonyesha tatizo la sekta nzima: vigezo vya umma huvuja katika data ya mafunzo na kujaa, hivyo kufanya mafanikio ya ubao wa wanaoongoza yasiweze kuaminiwa. Ukiwa na FrontierCode 2.0, majukumu yamewekwa kwenye daraja la kama mtunzaji angeunganisha mabadiliko - na kushindwa kwa hundi yoyote ya kuzuia kupata sifuri - na orodha ya majukumu inabaki kuwa ya faragha.

Hiyo inafanya v5 kuwa mojawapo ya vigezo vigumu zaidi katika mchezo, na uamuzi wake una uzito: mipaka inaongozwa na Anthropic na OpenAI, mipangilio ya juhudi ni muhimu zaidi kuliko hapo awali, na miundo ya uzani wazi ina msingi wa kurejesha kazi za mawakala ambazo zinazidi kufafanua kazi ya AI ya ulimwengu halisi.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →