Perusahaan benchmark Artificial Analysis telah meluncurkan Indeks Intelijen versi 5, menyebutnya sebagai peningkatan terbesar pada peringkat model komposit sejak v4 diluncurkan pada bulan Januari. Perubahan utama: untuk pertama kalinya, 60 persen Indeks dibuat berdasarkan evaluasi dengan perangkat tes swasta atau jawaban yang diberikan secara langsung – sebuah respons langsung terhadap masalah kontaminasi tolok ukur yang telah mengikis kepercayaan terhadap papan peringkat publik.

Perombakan tersebut terjadi dengan keputusan yang jelas di kalangan atas. Claude Opus 5.5 (maks) memimpin Indeks v5 di 58, mengungguli GPT-6 Astra (maks) di 57 dan GPT-6.1 Sol (maks) di 55. Anthropic dan OpenAI bersama-sama memegang posisi lima teratas, dengan Google Gemini 4 Argon (tinggi) berikutnya di 50. For more context on this story, see our ongoing AI trends.

Apa yang Berubah di v5

Indeks v5 disusun dalam empat kategori dengan bobot yang sama – Pekerjaan Pengetahuan, Pengkodean, Sains, dan Umum – masing-masing bernilai 25 persen. Dua tolok ukur sepenuhnya baru, dan tiga menerima peningkatan besar:

  • FrontierCode 2.0 (baru). Tolok ukur pribadi Cognition terhadap 132 tugas pengkodean dunia nyata dalam repositori sumber terbuka, dinilai berdasarkan apakah pengelola repositori benar-benar akan menggabungkan perubahan agen. Tugas tetap bersifat pribadi untuk menghindari kontaminasi, dan Analisis Buatan menjalankan setiap tugas tiga kali dalam pemanfaatan agen Stirrupnya.
  • Terminal-Bench-Science (baru). Tujuh puluh tugas penelitian ilmiah agen yang dijalankan di lingkungan terminal, tempat tugas hanya lolos jika semua pengujiannya lulus.
  • HLE-Diamond (ditingkatkan). Versi Ujian Terakhir Kemanusiaan yang berisi 1.000 pertanyaan yang disempurnakan dari Pusat Keamanan AI dan Skala AI, dibagi rata antara pertanyaan penalaran dan pengetahuan, menggantikan HLE asli.
  • AA-Omniscience v1.1 (ditingkatkan). Kumpulan data pengetahuan dan halusinasi yang telah dibersihkan dengan menghilangkan pertanyaan umum dan jenuh.
  • Subset sulit CritPt v2 (ditingkatkan). Subset sulit pribadi berisi 40 pertanyaan dari tolok ukur fisika tingkat penelitian, direvisi oleh penulisnya dan dijalankan dengan eksekusi kode.

Hilang dari Indeks: GDPval-AA v2.1, SciCode dan AA-LCR v1.1. Analisis Buatan juga meluncurkan Indeks Kemajuan v1, yang melacak kemampuan model dari waktu ke waktu dalam satu skala berkelanjutan.

Claude Opus 5.5 Memimpin Secara Keseluruhan

Claude Opus 5.5 (maks) memimpin tiga dari sembilan evaluasi individual: FrontierCode 2.0 dengan skor 46 persen, HLE-Diamond dengan skor 68 persen, dan AA-Omniscience v1.1 dengan skor 48. Tidak ada satu model pun yang memimpin segalanya — lima model lainnya mengungguli enam tolok ukur yang tersisa.

GPT-6 Astra (max) mengungguli Terminal-Bench-Science sebesar 63 persen dan hard subset CritPt v2 sebesar 72 persen, menegaskan kekuatan OpenAI dalam karya ilmiah jangka panjang. Claude Sonnet 5.5 mengungguli AA-Briefcase di 1812 Elo, K3.1 Pro milik Kimi memimpin Terminal-Bench 4.0 dengan 67 persen, Gemini 4 Argon memimpin AutomationBench-AA dengan 78 persen, dan Muse Wonder Full memimpin GDP.pdf dengan 33 persen all-pass.

Hasil HLE-Diamond mengandung detail yang jelas: model-model terkemuka mendapat skor yang jauh lebih baik dalam hal penalaran daripada pengetahuan. Claude Opus 5.5 dan GPT-6 Astra sama-sama mencapai skor 78 persen pada pertanyaan-pertanyaan penalaran, namun masing-masing turun menjadi 58 dan 50 persen pada pertanyaan-pertanyaan pengetahuan – sebuah bukti bahwa sistem-sistem terdepan sekalipun masih lebih sering berhalusinasi atau kekurangan fakta daripada yang ditunjukkan oleh skor penalaran mereka.

Kesenjangan Bobot Terbuka Tiga Kali Lipat

Temuan paling menyedihkan untuk ekosistem open-weight: kesenjangan antara model terbuka terbaik dan pemimpin keseluruhan meningkat tiga kali lipat, melebar dari 3 poin di v4.3 menjadi 12 poin di v5.

K3.1 Pro Kimi adalah model bobot terbuka teratas dengan bobot 46 — tetapi bobotnya belum dirilis. Di antara model dengan bobot yang dirilis, V4.1 Flash 1017 (maks) DeepSeek dan GLM-5.3 (maks) Z.ai memimpin pada 32, tertinggal 26 poin penuh dari Claude Opus 5.5 dan di bawah Claude Haiku 5.5 (maks) pada 36.

Kesenjangan terbesar terjadi pada tolok ukur agen yang paling sulit. Pada HLE-Diamond, Kimi K3.1 Pro mendapat skor 37 persen berbanding Opus 5.5 dengan 68 persen; di Terminal-Bench-Science sebesar 34 persen dibandingkan GPT-6 Astra sebesar 63 persen. Sebagian besar model bobot terbuka memberikan skor di bawah 10 persen pada tolok ukur sains.

Harga Per Tugas Bervariasi Tiga Belas Kali Lipat

Biaya tetap menjadi variabel penentu. Di antara sepuluh model dengan skor tertinggi, GPT-6.1 Terra (maks) adalah yang termurah dengan harga $0,96 per tugas Indeks Intelijen, sedangkan Claude Fable 5.1 (maks) adalah yang paling mahal dengan harga $13,04 — selisihnya lebih dari 13 kali lipat.

Kisah efisiensi bisa dibilang merupakan hal yang paling praktis dari v5: GPT-6.1 Sol (maks) mendapat skor dalam 4 poin dari Claude Opus 5.5 sementara biayanya sekitar seperdelapan lebih banyak per tugas, dengan harga $1,27 dibandingkan Opus yang $10,04. GPT-6 Astra (maks) berada di antara keduanya dengan harga $6,24.

Mengapa Tolok Ukur Pribadi Penting

Pergeseran ke arah perangkat evaluasi swasta mencerminkan masalah yang terjadi di seluruh industri: tolok ukur publik bocor ke dalam data pelatihan dan menjadi jenuh, sehingga perolehan peringkat di papan peringkat sulit dipercaya. Dengan FrontierCode 2.0, tugas dinilai berdasarkan apakah pengelola akan menggabungkan perubahan — jika kegagalan pemeriksaan pemblokiran mendapat skor nol — dan daftar tugas tetap bersifat pribadi.

Hal ini menjadikan v5 salah satu tolok ukur yang lebih sulit untuk diterapkan, dan keputusannya membawa bobot: lini depan dipimpin oleh Anthropic dan OpenAI, pengaturan upaya menjadi lebih penting dari sebelumnya, dan model bobot terbuka memiliki landasan yang kuat untuk memulihkan tugas-tugas agen yang semakin mendefinisikan pekerjaan AI di dunia nyata.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →