Benchmark firması Yapay Analiz, Zeka Endeksi'nin 5. versiyonunu piyasaya sürdü ve bunu v4'ün Ocak ayında piyasaya sürülmesinden bu yana kompozit model sıralamasındaki en büyük yükseltme olarak nitelendirdi. Başlık değişikliği: İlk kez Endeksin yüzde 60'ı, özel test setleri veya uzatılmış yanıtlarla yapılan değerlendirmelere dayanıyor; bu, kamuya açık skor tablolarına olan güveni aşındıran kıyaslama kirliliği sorunlarına doğrudan bir yanıt.

Değişiklik zirvede net bir kararla geldi. Claude Opus 5.5 (maks.), v5 Endeksi'nde 58. sırada yer alırken, GPT-6 Astra (maks.) 57. ve GPT-6.1 Sol (maks.) 55. sırada yer alıyor. Anthropic ve OpenAI birlikte ilk beş sırayı elinde tutuyor; Google'ın Gemini 4 Argon'u (yüksek) ise 50. sırada yer alıyor. For more context on this story, see our ongoing AI trends.

v5'te Neler Değişti

v5 Endeksi, her biri yüzde 25 değerinde olan, Bilgi Çalışması, Kodlama, Bilim ve Genel olmak üzere eşit ağırlıklı dört kategoriye ayrılmıştır. İki kıyaslama tamamen yenidir ve üçü önemli yükseltmeler almıştır:

  • FrontierCode 2.0 (yeni). Cognition'ın açık kaynak kod depolarındaki 132 gerçek dünya kodlama görevine ilişkin özel karşılaştırması, bir depo yöneticisinin aracının değişikliğini gerçekten birleştirip birleştirmeyeceğine göre derecelendirildi. Kirlenmeyi önlemek için görevler gizli kalır ve Yapay Analiz, Üzengi aracı donanımında her görevi üç kez çalıştırır.
  • Terminal-Bench-Science (yeni). Yetmiş aracılı bilimsel araştırma görevi, bir görevin yalnızca testlerinin her birinin başarılı olması durumunda başarılı olduğu bir terminal ortamında yürütülür.
  • HLE-Diamond (yükseltilmiş). Yapay Zeka Güvenliği ve Yapay Zekayı Ölçeklendirme Merkezi'nden İnsanlığın Son Sınavının, orijinal HLE'nin yerine geçen, muhakeme ve bilgi soruları arasında eşit olarak bölünmüş, 1.000 soruluk geliştirilmiş bir versiyonu.
  • AA-Omniscience v1.1 (yükseltildi). Doygun ve herkese açık soruların kaldırıldığı, temizlenmiş bir bilgi ve halüsinasyon veri seti.
  • CritPt v2 sabit alt kümesi (yükseltilmiş). Yazarları tarafından revize edilen ve kod yürütmeyle çalıştırılan, araştırma düzeyindeki fizik kıyaslamasının 40 soruluk özel bir zor alt kümesi.

Dizinden Çıktı: GDPval-AA v2.1, SciCode ve AA-LCR v1.1. Yapay Analiz ayrıca, zaman içindeki model kapasitesini tek bir sürekli ölçekte izleyen bir tamamlayıcı İlerleme Endeksi v1'i de başlattı.

Claude Opus 5.5 Genel Liderliği Aldı

Claude Opus 5.5 (maks.) dokuz ayrı değerlendirmeden üçüne liderlik ediyor: Yüzde 46 ile FrontierCode 2.0, yüzde 68 ile HLE-Diamond ve 48 ile AA-Omniscience v1.1. Tek bir model her şeye liderlik etmiyor; diğer beş model geri kalan altı kriterin üstünde yer alıyor.

GPT-6 Astra (max), yüzde 63 ile Terminal-Bench-Science'ın ve yüzde 72 ile CritPt v2 donanım alt kümesinin önünde yer alıyor ve OpenAI'nin uzun vadeli bilimsel çalışmadaki gücünü doğruluyor. Claude Sonnet 5.5, 1812 Elo'da AA-Briefcase'in zirvesinde, Kimi'nin K3.1 Pro'su yüzde 67 ile Terminal-Bench 4.0'ın başında, Gemini 4 Argon yüzde 78 ile AutomationBench-AA'nın başında ve Muse Wonder Full yüzde 33 tam geçiş oranıyla GDP.pdf'nin başında yer alıyor.

HLE-Diamond sonuçları etkileyici bir ayrıntı içeriyor: Önde gelen modeller, bilgiden ziyade muhakeme konusunda daha iyi puan alıyor. Claude Opus 5.5 ve GPT-6 Astra'nın her ikisi de akıl yürütme sorularında yüzde 78'e ulaşıyor, ancak bilgi konusunda sırasıyla yüzde 58 ve 50'ye düşüyor; bu, sınır sistemlerin bile akıl yürütme puanlarının önerdiğinden daha sık halüsinasyon gördüğünü veya gerçeklerden yoksun olduğunu gösteriyor.

Açık Ağırlık Farkı Üçe Katlanıyor

Açık ağırlık ekosistemi için en çarpıcı bulgu: en iyi açık model ile genel lider arasındaki fark üç katına çıktı ve v4.3'te 3 puandan v5'te 12 puana çıktı.

Kimi'nin K3.1 Pro'su 46 ile açık ağırlıkların en iyi modeli ancak ağırlıkları henüz açıklanmadı. Ağırlıkları açıklanan modeller arasında DeepSeek'in V4.1 Flash 1017 (maks.) ve Z.ai'nin GLM-5.3 (maks.) 32 puanla önde, Claude Opus 5.5'in tam 26 puan gerisinde ve Claude Haiku 5.5'in (maks.) altında 36 puanla önde.

Aradaki fark, en zorlu temsilcilik kriterlerinde en geniştir. HLE-Diamond'da Kimi K3.1 Pro, Opus 5.5'in yüzde 68'ine karşılık yüzde 37 puan aldı; Terminal-Bench-Science'da yüzde 34, GPT-6 Astra'nın yüzde 63'üne karşılık. Açık ağırlık modellerinin çoğu, bilim kıyaslamasında yüzde 10'un altında puan aldı.

Görev Başına Fiyat On Üç Kat Değişir

Maliyet belirleyici bir değişken olmaya devam ediyor. En yüksek puanı alan on model arasında GPT-6.1 Terra (maks), Intelligence Index görevi başına 0,96 ABD doları ile en ucuzu olurken, Claude Fable 5.1 (maks) 13,04 ABD doları ile en pahalısı oldu; bu da 13 kattan fazla bir fark anlamına geliyor.

Verimlilik öyküsü tartışmasız v5'in en pratik çıkarımıdır: GPT-6.1 Sol (maks.), Claude Opus 5.5'in 4 puanı dahilinde puan alırken, görev başına maliyeti yaklaşık sekizde biri kadardır; Opus'un 10.04 $'ına karşılık 1.27 $'dır. GPT-6 Astra (max) ise 6,24 dolardan aralarında yer alıyor.

Özel Karşılaştırmalar Neden Önemlidir

Özel değerlendirme setlerine geçiş, sektör genelindeki bir sorunu yansıtıyor: Kamuya açık kıyaslamalar eğitim verilerine sızıyor ve doygun hale geliyor, liderlik tablosu kazanımlarına güvenilmesi imkansız hale geliyor. FrontierCode 2.0 ile görevler, bakımcının değişikliği birleştirip birleştirmeyeceğine göre derecelendirilir (herhangi bir engelleme kontrolü başarısızlığı sıfır puan alır) ve görev listesi özel kalır.

Bu, v5'i oynanması daha zor kıyaslamalardan biri haline getiriyor ve verdiği karar ağırlık taşıyor: Sınır Antropik ve OpenAI tarafından yönetiliyor, çaba ayarları her zamankinden daha önemli ve açık ağırlık modellerinin, gerçek dünyadaki yapay zeka çalışmalarını giderek daha fazla tanımlayan ajansal görevlerin üstesinden gelmek için ciddi bir zemini var.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →