OpenAI melakukan kemunduran setelah Claude Opus 5 dari Anthropic mendominasi benchmark ARC-AGI-3, menerbitkan hasil yang menunjukkan model Sol GPT-5.6 miliknya mencapai 38,3 persen — asalkan Anda menggunakan pengaturan pilihan OpenAI daripada test harness resmi.
Perselisihan tersebut, yang terjadi pada tanggal 30 Juli 2026, menyentuh inti masalah yang berkembang dalam evaluasi AI: tolok ukur tidak lagi hanya mengukur sebuah model, namun seluruh perancah teknis yang melingkupinya. Untuk analisis lebih mendalam mengenai perkembangan AI terbaru dan rilis model, AI Buzz Wire menelusuri ceritanya.
Angka dan Hasil Tangkapannya
OpenAI melaporkan bahwa GPT-5.6 Sol mencapai 38,3 persen pada ARC-AGI-3, mengalahkan Claude Opus 5 dari Anthropic, yang mencetak 30,2 persen setelah sebelumnya empat kali lipat rekor benchmark. Peringatannya penting: angka 38,3 persen tersebut bergantung pada dua fitur spesifik dari Responses API OpenAI.
Yang pertama adalah Retained Reasoning, yang mempertahankan rantai pemikiran model di antara langkah-langkah, bukan membuangnya setelah setiap tindakan. Yang kedua adalah Pemadatan, yang merangkum konteks lama, bukan memotongnya, sehingga model dapat terus menangani masalah yang panjang tanpa kehilangan alasan sebelumnya.
Dijalankan melalui sistem standar resmi ARC Prize — yang dengan sengaja menghindari pengaturan khusus penyedia untuk memastikan perbandingan apple-to-apple — GPT-5.6 Sol hanya berhasil mencapai 7,8 persen. Alasannya, menurut OpenAI, adalah bahwa pengaturan resmi membuang alasan model setelah setiap langkah, sehingga menghilangkan kinerja pada tugas-tugas yang memerlukan pemikiran multi-langkah yang berkelanjutan.
Tolok Ukur yang Dibangun untuk Kemurnian
ARC-AGI-3 dirancang oleh François Chollet dan tim ARC Prize untuk menyelidiki kemampuan model dalam memecahkan teka-teki penalaran baru yang belum pernah ada sebelumnya — sebuah tes kecerdasan umum, bukan pengetahuan hafalan. Agar perbandingan tetap adil, sistem resmi sengaja menghapus fitur khusus penyedia, dan mengukur kemampuan model mentah dalam lingkungan netral.
Argumen tandingan OpenAI adalah bahwa netralitas ini dapat menjadi suatu hambatan. Perusahaan tersebut berpendapat bahwa sistem resminya mengandalkan "API penyelesaian gaya OpenAI" lama yang tidak memiliki kemampuan yang sudah ditawarkan oleh API Claude, sehingga secara efektif menempatkan OpenAI pada posisi yang tidak menguntungkan secara struktural dibandingkan dengan Anthropic dalam perbandingan aslinya.
Intinya, OpenAI mengatakan: Anda mengukur model kami dengan satu tangan terikat di belakang.
Tanggapan Chollet
Salah satu pendiri ARC Prize, François Chollet menanggapinya dengan menarik garis yang jelas antara dua jenis pengaturan pengujian. Memanfaatkan "yang dibuat khusus untuk menyelesaikan benchmark atau yang berisi pengetahuan tentang format benchmark" dilarang, katanya. Namun pengaturan API tujuan umum "yang tidak dikembangkan untuk ARC-AGI-3 dan tersedia untuk semua pengguna API" adalah hal yang wajar.
Chollet mengakui bahwa skor Sol GPT-5.6 milik ARC Prize menempatkan OpenAI pada posisi yang kurang menguntungkan. Dia mencatat bahwa organisasi tersebut telah "banyak berdiskusi dengan OpenAI tentang cara terbaik menguji model mereka, terutama yang berkaitan dengan pemadatan," dan menyambut baik perusahaan tersebut "mulai menemukan jawabannya."
Chollet menandai satu kekhawatiran yang tersisa. Penyedia yang berbeda menggunakan pengaturan yang berbeda menciptakan apa yang disebutnya sebagai "potensi masalah paritas" - namun ia menganggap hal itu dapat diterima "selama pengaturan dan biayanya dilaporkan dengan jelas."
Mengapa Hal Ini Penting Di Luar Papan Peringkat
Episode ini menggarisbawahi ketegangan yang mengubah cara industri AI mengevaluasi kemajuan. Seiring dengan semakin banyaknya model yang diterapkan melalui API yang kaya fitur dan bukan sebagai sistem yang berdiri sendiri, batas antara kemampuan bawaan model dan rekayasa di sekitarnya semakin kabur. Tolok ukur yang mengabaikan scaffolding mungkin meremehkan kinerja sebenarnya; negara yang menerapkannya mungkin akan memberi penghargaan kepada perusahaan yang melakukan uji coba tersebut.
Perdebatan ARC-AGI-3 sepertinya bukan yang terakhir. Ketika model-model terdepan berkumpul di dekat puncak tolok ukur yang ditetapkan, ketidaksepakatan mengenai apa yang dianggap sebagai pengukuran yang adil – dan siapa yang dapat menentukan standar – akan semakin meningkat.
Tetap Terdepan dalam AI
Ingin mengikuti berita AI terkini tentang model, tolok ukur, dan laboratorium yang membangunnya? AI Buzz Wire siap membantu Anda.
Baca berita AI selengkapnya
