GPT-6 Astra Tunjukkan 'Langkah Perubahan' dalam Penalaran Spasial pada Tolok Ukur Robotika Baru

GPT-6 Astra OpenAI mungkin sedang berjuang dengan masalah kepercayaan pengguna dalam hal pengkodean, tetapi pada tolok ukur robotika baru, ia memposting angka-angka yang membuat para peneliti berbicara tentang lompatan kualitatif. Di StationeryBench, pengujian yang dibuat berdasarkan objek meja biasa, Astra sepenuhnya menyelesaikan 7 dari 100 tugas, sementara MolmoAct2 dari Ai2, model yang diadu, tidak menyelesaikan apa pun.

Tolok ukurnya, dijelaskan oleh The Decoder, mengadu kedua model dalam lima tugas objek meja — membuka tutup penanda, menuangkan klip kertas, atau melewati penggaris di antara dua lengan robot. Kedua model mengendalikan robot YAM berlengan ganda yang sama dalam 200 uji coba, sebuah desain kontrol yang dimaksudkan untuk mengisolasi kemampuan model dari perbedaan perangkat keras. Semua hasil, video, dan kode telah dipublikasikan di GitHub. Untuk liputan penelitian lebih lanjut seperti ini, lihat AI news hub.

Sebuah 'Langkah Perubahan', Menurut Peneliti

Yoav Artzi, peneliti AI di Cornell dan Google DeepMind, menyebut kinerja Astra sebagai "langkah perubahan dalam penalaran spasial" - jenis hasil tolok ukur bahasa yang jarang diperoleh. Pada tolok ukur yang disebut REMAP yang masih belum dipublikasikan, Astra mencapai akurasi yang mendekati tingkat manusia, meskipun Artzi mencatat bahwa "bahkan Astra tidak dapat mencapai apa yang manusia lakukan dalam skenario lain."

Skor kemajuan rata-rata Astra mencapai 46 dari 100, dibandingkan dengan 12 untuk MolmoAct2 — sebuah kesenjangan yang lebih penting daripada angka penyelesaian judul utama. Tugas-tugas robotika dinilai berdasarkan kemajuan parsial serta keberhasilan penuh, dan skor median saingan yang tiga kali lipat menunjukkan bahwa model tersebut secara konsisten berkembang lebih jauh melalui rangkaian manipulasi daripada berhasil karena keberuntungan dalam beberapa uji coba.

Mengapa Penalaran Spasial Tiba-tiba Penting

Hasilnya menunjukkan bagaimana Astra dilatih. Artzi menduga OpenAI melatih model tersebut pada data 3D dalam jumlah besar, seperti adegan Blender, yang akan sejalan dengan kekuatan khusus model tersebut pada tugas 3D. Jika hasil tersebut benar, maka hal ini menunjukkan bahwa lingkungan 3D sintetik – yang lebih murah dan lebih aman dibandingkan pengumpulan data di dunia nyata – menjadi jalur yang memungkinkan untuk mencapai kompetensi dunia fisik, yang merupakan salah satu hambatan yang paling lama ada dalam bidang robotika.

Desain benchmark juga menjelaskan arah evaluasi robotika. Tugas StationeryBench sengaja dibuat biasa-biasa saja - membuka tutup spidol, menuangkan klip kertas, menyerahkan penggaris - karena manipulasi sehari-hari, bukan prestasi sinematik, yang membedakan demo laboratorium dari mesin yang berguna. Menilai kedua model pada perangkat keras YAM dua lengan yang sama dalam 200 uji coba, dan memublikasikan setiap video, merupakan pengaturan yang sangat transparan untuk klaim kemampuan yang melibatkan unggulan laboratorium perbatasan.

MolmoAct2, model perbandingan dari Allen Institute for AI (Ai2), yang tidak menyelesaikan tugas apa pun merupakan datumnya sendiri: model ini menunjukkan bahwa kesenjangan antara model frontier tujuan umum dan model robotika yang dibuat khusus tidak lagi hanya menutup tetapi juga membalikkan, setidaknya karena manipulasi yang banyak menggunakan alasan.

Hal ini juga sesuai dengan ambisi OpenAI: perusahaan memiliki rencana jangka panjang untuk membangun robot konsumennya sendiri, menurut laporan yang dikutip oleh The Decoder. Model bahasa terdepan yang dapat menjelaskan tentang objek, tangan, dan lintasan adalah setengah dari perangkat lunak tersebut. Separuh perangkat kerasnya masih belum terpecahkan, tetapi tolok ukur seperti StationeryBench adalah cara mengukur cerita tersebut.

Konteks: Model dengan Minggu yang Rumit

Hasilnya adalah siklus berita yang aneh untuk OpenAI. Model yang sama yang menjadi pusat tolok ukur ini telah menghabiskan waktu seminggu menghadapi keluhan pengguna yang semakin bodoh sejak diluncurkan - keluhan OpenAI ditelusuri ke tiga cacat yang disebutkan, mulai dari kesalahan penggunaan keterampilan hingga eksperimen konteks yang tidak sesuai, sebelum menyetel ulang batas penggunaan Codex. Sebuah model yang mengalami kendala dalam produksi ketika memposting hasil perubahan langkah di laboratorium adalah sebuah contoh dari industri AI saat ini: kemampuan dan keandalan meningkat pada jam yang berbeda.

Ini juga terjadi di tengah perdebatan keselamatan yang diikuti oleh kepemimpinan OpenAI sendiri. Kepala ilmuwan perusahaan telah memperingatkan bahwa tidak ada laboratorium yang mampu memecahkan masalah pengendalian sistem yang semakin otonom, dan CEO Anthropic telah menyerukan industri untuk memperlambat pembangunan secara keseluruhan. Tolok ukur yang menunjukkan model-model yang memanipulasi dunia fisik – bahkan jika dunia ini hanyalah sebuah meja yang dipenuhi alat tulis – adalah hasil yang sama yang dikutip oleh kedua eksekutif tersebut ketika mereka berpendapat bahwa laju kemajuan melampaui pengawasan.

Intinya

Tujuh dari 100 tugas yang diselesaikan sepenuhnya tidak akan menempatkan robot di meja Anda besok. Namun perubahan dari nilai nol menjadi tujuh, dengan skor kemajuan rata-rata tiga kali lebih tinggi, adalah semacam diskontinuitas yang mengubah grafik kemampuan pemahaman bahasa dua tahun lalu. Pertanyaannya adalah apakah model yang sama dapat memberikan kompetensi tersebut secara andal, di luar tolok ukur, dengan harga yang bersedia dibayar oleh pengembang.

Tetap Terdepan dalam AI

Tolok ukur, terobosan, dan perlombaan menuju mesin yang bertindak — diikuti setiap hari.

Baca berita AI selengkapnya →