Claude Fable 5.1 Memimpin Perombakan Indeks Kecerdasan Analisis Buatan v4.2 sebagai Tolok Ukur Menjadi Pribadi

Perusahaan pembanding Analisis Buatan merilis Indeks Intelijen versi 4.2 pada tanggal 4 September 2026, sebuah pembaruan sementara yang mengubah cara pengukuran model AI terdepan — dan, menurut papan peringkat baru, Claude Fable 5.1 dari Anthropic memegang posisi teratas, dengan GPT-6 Astra dari OpenAI di posisi kedua setelah unggul empat poin atas GPT-5.6 Sol.

Pembaruan ini terjadi hanya delapan bulan setelah Indeks v4 diluncurkan pada bulan Januari, sebuah perubahan haluan yang luar biasa cepat yang dikaitkan dengan kecepatan rilis frontier baru-baru ini. “Dengan perkembangan yang begitu cepat dalam beberapa minggu terakhir, kami merasa penting untuk segera memberikan pembaruan sementara untuk memastikan Indeks kami tetap relevan dan berguna seperti sebelumnya,” tulis perusahaan itu dalam pengumumannya.

Peringkat judul

Berdasarkan hasil yang dipublikasikan, Claude Fable 5.1 dari Anthropic memimpin Indeks, diikuti oleh GPT-6 Astra dari OpenAI, yang meningkat empat poin dibandingkan GPT-5.6 Sol. Meta menempati peringkat lab terkuat ketiga di papan peringkat, diikuti oleh SpaceXAI, Moonshot/Kimi, Z.AI, dan Google.

Anthropic dan OpenAI juga berbagi gambaran efisiensi biaya yang diperbarui: kedua perusahaan, bersama dengan Meta dan Z.AI, menempati batas Pareto "Biaya per Tugas" Indeks, yang berarti tidak ada laboratorium lain yang saat ini menawarkan kecerdasan yang lebih baik dengan harga yang sama per tugas yang diselesaikan.

Dalam hal efisiensi token, Analisis Buatan menemukan bahwa GPT-6 Astra “lebih efisien dalam token dibandingkan hampir semua model lain yang mendekati batas intelijen,” dengan Claude Fable 5.1, Grok 4.5, dan Gemini 3.5 Flash-Lite berada di kedua ujung kurva. Namun, perusahaan tersebut mencatat dalam analisis pendampingnya bahwa penggunaan token Astra yang lebih rendah sebanding dengan harganya yang lebih tinggi — sebuah pengingat bahwa efisiensi mentah dan total biaya tidak selalu bergerak bersamaan.

Apa yang berubah di v4.2

Perubahan struktural yang paling signifikan adalah dorongan yang disengaja terhadap game benchmark. Empat puluh persen bobot Indeks kini berasal dari set pengujian pribadi yang diadakan — dua kali lipat dibandingkan di v4.1 — termasuk AA-Briefcase, AA-Omniscience, dan solusi untuk CritPt. Perusahaan mengatakan angka tersebut akan meningkat lebih lanjut di Indeks v5.

Dua evaluasi baru menjadi landasan pembaruan:

• AA-Briefcase, tolok ukur kerja pengetahuan agen internal dengan set pengujian pribadi. Model dievaluasi pada proyek profesional multi-minggu, masing-masing dengan banyak tugas terkait dan ribuan file sumber masukan, dan dinilai melalui kombinasi penilaian rubrik dan perbandingan berpasangan yang mencakup keberhasilan tugas yang dapat diverifikasi, kualitas analitis, dan kualitas presentasi.

• GDP.pdf, dibuat oleh Surge AI, yang menguji penalaran satu putaran di seluruh dokumen profesional: 100 PDF yang mencakup sepuluh domain, dengan bukti didistribusikan di 4.592 halaman teks, tabel, bagan, dan catatan kaki. Respons dinilai berdasarkan 1.275 kriteria atom yang ditulis oleh pakar, dan judul All-pass Rate mengkreditkan tugas hanya jika setiap kriteria terpenuhi.

Salah satu tolak ukur yang sudah lama ada akan segera dihentikan: GPQA Diamond, tes penalaran sains tingkat pascasarjana, telah dihapus karena sudah secara efektif dipenuhi oleh model-model terdepan.

Perusahaan ini juga meningkatkan infrastruktur penilaiannya, merilis AA-LCR v1.1 dengan prompt sistem penilaian baru dan kunci jawaban yang diperbaiki, memasang kembali skala Elo untuk GDPval-AA v2 dan AA-Briefcase sehingga peringkat tetap stabil saat model baru tiba, dan memperkuat kotak pasir penilaian SciCode sehingga kode yang lambat namun benar tidak lagi dianggap sebagai kegagalan.

Apa yang diungkapkan oleh tes baru

Hasil evaluasi baru ini memberikan gambaran yang lebih terperinci tentang posisi laboratorium terdepan sebenarnya.

Pada AA-Briefcase, Claude Fable 5.1 dan Opus 5 dari Anthropic memimpin, diikuti oleh GPT-6 Astra dari OpenAI dan Muse Spark 1.3 dari Meta. GPT-6 Astra mendapat skor sekitar 85 poin Elo di atas GPT-5.6 Sol pada evaluasi yang sama — sebuah lompatan besar antara generasi OpenAI berturut-turut.

Di GDP.pdf, gambarannya terbalik: OpenAI memimpin dengan GPT-6 Astra pada 33,2% All-pass Rate, diikuti oleh GPT-5.6 Sol pada 28,2% dan Claude Fable 5.1 pada 26,2%. Perbedaan ini menunjukkan sintesis dokumen panjang dalam konteks yang sangat luas tetap menjadi kekuatan relatif untuk model terbaru OpenAI, bahkan ketika model Anthropic memimpin tugas kerja Indeks dan agen secara keseluruhan.

Mengapa set pengujian pribadi penting

Pergeseran ke arah evaluasi yang tertunda mencerminkan masalah kredibilitas yang lebih luas dalam tolok ukur AI. Karena model telah menyerap lebih banyak data uji publik, laboratorium dan pengamat independen semakin khawatir bahwa skor utama pada tolok ukur terkenal mencerminkan hafalan atau pelatihan yang ditargetkan, bukan kemampuan asli. Dengan merahasiakan sebagian besar set pengujiannya dan memberi bobot yang lebih besar pada set pengujiannya, Analisis Buatan berupaya mempertahankan sinyal bahwa papan peringkat publik telah kalah.

Perusahaan tersebut mengatakan telah membangun elemen Indeks v5 "selama berbulan-bulan" dan dengan sengaja menahan pembaruan untuk menjaga Indeks tetap stabil melalui gelombang peluncuran model besar baru-baru ini. Selain rilis sementara v4.2, ia merencanakan lebih banyak pembaruan tambahan dalam waktu dekat setelah transisi v5 selesai.

Bagi pembeli yang memilih antara model-model terdepan, manfaat praktis dari v4.2 adalah bahwa posisi teratas di pasar masih merupakan persaingan antara Anthropic dan OpenAI, dengan Meta yang menutup kesenjangan tersebut — dan bahwa evaluasi yang dirancang untuk tahan terhadap game kini melakukan lebih banyak pekerjaan pemeringkatan. Keputusan pemilihan model pelacakan pengguna dapat mengikuti perkembangan AI terbaru seiring dengan semakin dekatnya peluncuran v5.

Tetap Terdepan dalam AI

Pembaruan tolok ukur seperti ini mengubah cara industri menilai kemajuan. Baca berita AI selengkapnya dan terus ikuti setiap rilis model.

Baca berita AI selengkapnya →