Firma penanda aras Analisis Buatan telah melancarkan versi 5 Indeks Kepintarannya, menggelarnya sebagai peningkatan terbesar kepada kedudukan model kompositnya sejak v4 diperkenalkan pada Januari. Perubahan tajuk: buat pertama kalinya, 60 peratus daripada Indeks dibina berdasarkan penilaian dengan set ujian peribadi atau jawapan yang dihentikan — tindak balas langsung kepada masalah pencemaran penanda aras yang telah menghakis kepercayaan terhadap papan pendahulu awam.

Rombakan tiba dengan keputusan yang jelas di bahagian atas. Claude Opus 5.5 (maks) mendahului Indeks v5 pada 58, mendahului GPT-6 Astra (maks) pada 57 dan GPT-6.1 Sol (maks) pada 55. Anthropic dan OpenAI bersama-sama memegang lima kedudukan teratas, dengan Gemini 4 Argon (tinggi) Google di sebelah 50. For more context on this story, see our ongoing artificial intelligence updates.

Apa yang Berubah dalam v5

Indeks v5 disusun dalam empat kategori yang sama wajaran — Kerja Pengetahuan, Pengekodan, Sains dan Umum — masing-masing bernilai 25 peratus. Dua penanda aras adalah baharu sepenuhnya, dan tiga menerima peningkatan utama:

  • FrontierCode 2.0 (baharu). Penanda aras peribadi Cognition bagi 132 tugas pengekodan dunia sebenar dalam repositori sumber terbuka, digredkan sama ada penyelenggara repositori benar-benar akan menggabungkan perubahan ejen. Tugas kekal tertutup untuk mengelakkan pencemaran, dan Analisis Buatan menjalankan setiap tugas tiga kali dalam abah-abah agen Stirrupnya.
  • Terminal-Bench-Science (baru). Tujuh puluh tugasan penyelidikan saintifik agen dilaksanakan dalam persekitaran terminal, di mana tugasan lulus hanya jika setiap satu daripada ujiannya lulus.
  • HLE-Diamond (dinaik taraf). Versi 1,000 soalan yang diperhalusi Peperiksaan Terakhir Kemanusiaan daripada Pusat AI Keselamatan dan Skala AI, dibahagikan sama rata antara soalan penaakulan dan pengetahuan, menggantikan HLE asal.
  • AA-Omniscience v1.1 (dinaik taraf). Dataset pengetahuan dan halusinasi yang telah dibersihkan dengan soalan tepu dan umum dialih keluar.
  • Subset keras CritPt v2 (dinaik taraf). Subset sulit 40 soalan peribadi bagi penanda aras fizik peringkat penyelidikan, disemak oleh pengarangnya dan dijalankan dengan pelaksanaan kod.

Pergi daripada Indeks: GDPval-AA v2.1, SciCode dan AA-LCR v1.1. Analisis Buatan juga melancarkan Indeks Kemajuan v1 pendamping, yang menjejaki keupayaan model dari semasa ke semasa pada skala berterusan tunggal.

Claude Opus 5.5 Memimpin Keseluruhan

Claude Opus 5.5 (maks) mendahului tiga daripada sembilan penilaian individu: FrontierCode 2.0 pada 46 peratus, HLE-Diamond pada 68 peratus dan AA-Omniscience v1.1 pada 48. Tiada model tunggal mendahului segala-galanya — lima model lain mengatasi enam penanda aras yang tinggal.

GPT-6 Astra (maks) mendahului Terminal-Bench-Science pada 63 peratus dan subset keras CritPt v2 pada 72 peratus, mengesahkan kekuatan OpenAI dalam kerja saintifik jangka panjang. Claude Sonnet 5.5 mendahului AA-Briefcase pada 1812 Elo, K3.1 Pro Kimi mendahului Terminal-Bench 4.0 pada 67 peratus, Gemini 4 Argon mendahului AutomationBench-AA pada 78 peratus, dan Muse Wonder Full mendahului GDP.pdf pada 33 peratus lulus semua.

Keputusan HLE-Diamond mengandungi perincian yang jelas: model terkemuka mendapat skor yang jauh lebih baik pada penaakulan daripada pengetahuan. Claude Opus 5.5 dan GPT-6 Astra kedua-duanya mencecah 78 peratus pada soalan penaakulan, tetapi turun kepada 58 dan 50 peratus masing-masing berdasarkan pengetahuan - bukti bahawa sistem sempadan masih berhalusinasi atau kekurangan fakta lebih kerap daripada skor penaakulan mereka.

Jurang Wajaran Terbuka Berganda

Penemuan paling menyedihkan untuk ekosistem wajaran terbuka: jurang antara model terbuka terbaik dan pendahulu keseluruhan meningkat tiga kali ganda, melebar daripada 3 mata dalam v4.3 kepada 12 mata dalam v5.

K3.1 Pro Kimi ialah model pemberat terbuka teratas pada 46 — tetapi pemberatnya masih belum dikeluarkan. Antara model dengan pemberat yang dikeluarkan, DeepSeek's V4.1 Flash 1017 (maks) dan Z.ai's GLM-5.3 (maks) mendahului pada 32, penuh 26 mata di belakang Claude Opus 5.5 dan ke bawah Claude Haiku 5.5 (maks) pada 36.

Jurang adalah paling luas pada penanda aras agen yang paling sukar. Pada HLE-Diamond, Kimi K3.1 Pro mendapat 37 peratus berbanding 68 peratus Opus 5.5; pada Terminal-Bench-Science, 34 peratus berbanding GPT-6 Astra 63 peratus. Kebanyakan model wajaran terbuka menanda aras skor di bawah 10 peratus pada penanda aras sains.

Harga Setiap Tugasan Berbeza Tiga Belas Lipat

Kos kekal sebagai pembolehubah yang menentukan. Antara sepuluh model pemarkahan tertinggi, GPT-6.1 Terra (maks) adalah yang paling murah pada $0.96 setiap tugas Indeks Perisikan, manakala Claude Fable 5.1 (maks) adalah yang paling mahal pada $13.04 — lebih daripada 13 kali ganda spread.

Kisah kecekapan ini boleh dikatakan sebagai pengalaman paling praktikal v5: GPT-6.1 Sol (maks) mendapat dalam 4 mata daripada Claude Opus 5.5 manakala kos kira-kira satu perlapan setiap tugas, pada $1.27 berbanding Opus $10.04. GPT-6 Astra (maks) berada di antara mereka pada $6.24.

Mengapa Penanda Aras Persendirian Penting

Peralihan ke arah set penilaian swasta mencerminkan masalah seluruh industri: penanda aras awam bocor ke dalam data latihan dan tepu, menjadikan keuntungan papan pendahulu mustahil untuk dipercayai. Dengan FrontierCode 2.0, tugasan digredkan sama ada penyelenggara akan menggabungkan perubahan — dengan mana-mana kegagalan semakan semakan menjaringkan sifar — dan senarai tugasan kekal peribadi.

Itu menjadikan v5 sebagai salah satu penanda aras yang lebih sukar untuk dimainkan, dan keputusannya membawa berat: sempadan diterajui oleh Anthropic dan OpenAI, tetapan usaha lebih penting daripada sebelumnya, dan model wajaran terbuka mempunyai asas yang serius untuk memulihkan tugas agen yang semakin mentakrifkan kerja AI dunia sebenar.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →