GPT-6 Astra OpenAI telah memposting hasil mutakhir pada ARC-AGI-3, tolok ukur penalaran abstrak yang dirancang untuk mengukur kecerdasan agen, menurut hasil yang diterbitkan Rabu oleh ARC Prize Foundation. Model ini mendapatkan skor 62,7% pada set Semi-Private benchmark berdasarkan harness Standar milik yayasan, dan 99,9% ketika dievaluasi dengan harness Adaptor Penyedia yang menjaga kondisi penalaran internal model di antara permintaan.

Hasilnya terlihat satu hari setelah OpenAI memulai peluncuran bertahap Astra, model andalan perusahaan yang dirancang sebagai awal dari era baru. Bagi pembaca yang ingin terus mencatat skor seiring dengan kemajuan teknologi laboratorium terdepan, halaman perkembangan AI terbaru melacak setiap rilis besar yang terjadi.

Dua Harness, Dua Skor yang Sangat Berbeda

Kesenjangan antara dua nomor headline Astra merupakan detail terpenting dalam laporan tersebut. ARC Prize mengevaluasi agen berdasarkan pemanfaatan yang berbeda, dan masing-masing agen mengubah apa yang boleh dilakukan model dengan konteksnya sendiri.

Di bawah harness Standar, model dapat meneruskan catatan yang dipilihnya untuk disimpan saat bekerja melalui suatu lingkungan. Dengan pengaturan tersebut, Astra dengan upaya penalaran maksimal memperoleh skor 62,7%, dengan total biaya $26,098 untuk menjalankan evaluasi. Sebaliknya, menjalankan sistem yang sama dengan logika dimatikan hanya menghasilkan 35,2% dan memerlukan biaya lebih besar — ​​$49.791 — karena model tersebut memerlukan lebih banyak tindakan untuk mencapai kemajuan.

Harness Adaptor Penyedia lebih murah hati: mempertahankan kondisi penalaran model yang tidak jelas di antara permintaan dan menggunakan pemadatan untuk percakapan yang lebih lama, sehingga memungkinkan Astra menggunakan kembali pekerjaan sebelumnya. Di bawah pengaruh tersebut, Astra memperoleh skor 99,9% pada upaya penalaran tinggi sebesar $18.817, dan 98,6% pada upaya maksimal sebesar $17.332. Bahkan setting penalaran terendahnya mencapai 96,7%.

Dengan kata lain, perbedaan antara skor parsial dan skor mendekati sempurna bukan semata-mata terletak pada kemampuan mentahnya saja — melainkan seberapa besar status kerja model dapat bertahan di antara langkah-langkahnya.

Mengalahkan Manusia dalam Efisiensi Tindakan

ARC-AGI-3 dibangun di sekitar lingkungan permainan yang baru, abstrak, dan berbasis giliran. Agen harus menjelajah tanpa instruksi, menyimpulkan cara kerja dunia, mengidentifikasi tujuan dari imbalan yang sedikit, dan merencanakan tindakan multi-langkah. Lingkungan dikalibrasi sehingga manusia dapat menyelesaikan 100% masalah tersebut, yang menjadikan kinerja manusia sebagai tolak ukur dasar.

Astra tidak hanya menyelesaikan sebagian besar level — tetapi juga menyelesaikannya secara efisien. Menurut ARC Prize, model ini menggunakan lebih sedikit tindakan dibandingkan median yang diuji pada manusia pada 96% level, melampaui batas dasar manusia dalam efisiensi tindakan di seluruh rangkaian.

Perbandingan ekonominya sangat mencolok. Peserta tes manusia dibayar $115 per sesi 90 menit ditambah $5 per permainan yang diselesaikan, sehingga menghasilkan sekitar $12,78 per percobaan permainan. Evaluasi penuh Astra memerlukan biaya lima digit, tergantung pada konfigurasi. Namun ARC Prize mencatat adanya kelemahan yang berlawanan dengan intuisi: upaya penalaran yang lebih tinggi umumnya memerlukan biaya lebih sedikit, karena Astra menyelesaikan permainan dalam tindakan yang lebih sedikit, sehingga mengurangi jumlah total panggilan model dan token yang dibakar per proses.

Model yang Membangun Bahasanya Sendiri

Selain skor-skor tersebut, ARC Prize juga menyoroti perilaku kualitatif yang diamati oleh tim. Astra secara konsisten mengubah lingkungan asing menjadi model dunia simbolis yang ringkas — merepresentasikan mekanisme permainan sebagai aturan logis, dan mengembangkan singkatan khusus domainnya sendiri untuk melacak keadaan dan merencanakan tindakan.

Itulah tepatnya keterampilan ARC-AGI-3 yang dirancang untuk diselidiki. Jika benchmark generasi sebelumnya menguji penalaran yang lancar terhadap pola-pola baru, generasi ketiga menguji apakah agen dapat mengeksplorasi, memodelkan, menetapkan tujuan, dan melaksanakan rencana di lingkungan yang belum pernah ada sebelumnya — komponen-komponen yang tercantum dalam ARC Prize adalah eksplorasi, pemodelan, penetapan tujuan, serta perencanaan dan pelaksanaan.

Latar Belakang Era AGI

Hasil benchmark muncul di tengah retorika maksimal dari OpenAI itu sendiri. Pada konferensi pers sebelum peluncuran hari Kamis, presiden perusahaan Greg Brockman mengatakan "bukanlah hal yang tidak masuk akal untuk merasa bahwa kita sekarang berada di era AGI," namun tidak memberikan deklarasi resmi, menurut liputan The New Stack tentang peluncuran tersebut. Dia menggambarkan AGI sebagai "konsep misi atau konsep spiritual" dan bukan pemicu kontrak.

Peneliti OpenAI Aidan Clark mengatakan Astra adalah pelatihan terbesar perusahaan hingga saat ini – pelatihan pra-pelatihan pertama pada lebih dari 100.000 GPU di situs Stargate di Texas – dan rilis OpenAI pertama di mana model-model sebelumnya memainkan peran penting dalam mengawasi proses pelatihan. Akses tetap bertahap: peluncuran dimulai dengan pelanggan perusahaan dalam program Daybreak, dengan ketersediaan Plus, Pro, Bisnis, dan Perusahaan ditambah akses API dan AWS yang dijanjikan dalam beberapa hari mendatang.

Tanda Bintang pada Skor

Kehati-hatian diperlukan di beberapa bidang. Kinerja ARC-AGI-3 Astra sangat bergantung pada konfigurasi harness, seperti yang ditunjukkan oleh dua nomor utama, dan harness khusus yang mempertahankan status model telah berulang kali menjadi perdebatan dalam perselisihan benchmark. Analisis New Stack mengenai peluncuran tersebut mencatat bahwa Astra "mendapatkan keuntungan besar pada tugas-tugas khusus, namun harganya mahal dan tidak secara jelas memimpin dalam paket pengkodean" — sebuah pengingat bahwa tolok ukur teka-teki agen dan beban kerja komersial sehari-hari mengukur hal-hal yang berbeda.

ARC Prize sendiri membingkai latihan ini sebagai pengukuran "kesenjangan sisa" antara AI dan AGI saat ini, yang mendefinisikan AGI sebagai kemampuan untuk memperoleh keterampilan apa pun yang bisa dilakukan manusia, seefisien yang bisa dilakukan manusia. Skor yang mendekati sempurna dalam kondisi yang menguntungkan tidak menutup kesenjangan tersebut dengan sendirinya. Dan dengan biaya $17.000 hingga $50.000 per evaluasi, hanya laboratorium dengan sumber daya yang baik yang mampu menjalankan benchmark pada skala ini — meskipun data biaya ARC Prize menunjukkan bahwa penalaran yang lebih cerdas sebenarnya dapat mengurangi biaya yang harus dikeluarkan.

Mengapa Itu Penting

Efisiensi tindakan adalah poros perbandingan yang benar-benar baru. Sebuah model yang dapat menyelesaikan setiap level namun membuang ribuan panggilan telepon akan kurang berguna — dan lebih mahal — dibandingkan model yang bertindak seperti yang dilakukan Astra di sini: melakukan eksplorasi dengan sengaja, mengompresi apa yang dipelajarinya, dan menindaklanjutinya. Apa pun kesimpulan yang bisa diambil mengenai perdebatan AGI, data ARC Prize menunjukkan bahwa agen-agen perbatasan kini menyamakan manusia tidak hanya dalam hal apakah mereka dapat memecahkan masalah-masalah baru, namun juga dalam hal seberapa ekonomis mereka menyelesaikannya.

Tetap Terdepan dalam AI

Setiap hasil benchmark, peluncuran model, dan debat keselamatan, dilacak saat hal tersebut terjadi — baca berita AI selengkapnya →