Google DeepMind telah mendemonstrasikan teknik pelatihan robotika di mana model Gemini 4 Argon mempelajari tugas fisik dengan menonton video biasa, kemudian mentransfer perilaku yang dipelajari tersebut ke robot humanoid nyata. Dalam demo tersebut, yang dipublikasikan bersamaan dengan peluncuran model tersebut, humanoid Apollo buatan Apptronik menonton rekaman seseorang yang sedang bermain lubang jagung — dan kemudian melakukan tujuh tembakan berturut-turut dalam uji coba di dunia nyata, menurut Robotics & Automation News.
Dari Video Mentah hingga Robot Asli For more context on this story, see our ongoing latest AI developments.
Demonstrasi berpusat pada satu tes internal. Argon diperlihatkan video mentah tentang manusia yang sedang bermain cornhole, permainan lempar di halaman belakang. Model tersebut kemudian menganalisis lingkungan, memetakan koordinat spasialnya, dan menghitung gerakan sendi seluruh tubuh yang diperlukan untuk mereproduksi tugas pada platform humanoid.
Langkah penting adalah apa yang terjadi selanjutnya: daripada mengandalkan para insinyur untuk membuat simulasi fisika secara manual, Argon secara mandiri membuat kode simulasi itu sendiri. Perilaku yang dipelajari kemudian ditransfer dari simulasi yang dihasilkan sendiri ke humanoid Apollo milik Apptronik, yang mengeksekusinya di dunia fisik.
Menurut Google DeepMind, Apollo kemudian mendaratkan tujuh tembakan berturut-turut selama uji coba di dunia nyata – sebuah langkah bersih untuk tugas yang mengharuskan robot mengoordinasikan keseimbangan, lintasan lengan, dan waktu pelepasan.
Pekerjaan Simulasi Berminggu-minggu Dikompresi Menjadi Jam
Google DeepMind mendeskripsikan pendekatan ini sebagai saluran "Video-ke-Sim-ke-Nyata", dan inti permasalahannya adalah mengenai waktu rekayasa dan juga kemampuan.
"Pipa 'Video-to-Sim-to-Real' ini memampatkan pemodelan simulasi manual selama berminggu-minggu menjadi beberapa jam, mengubah video biasa menjadi tempat pelatihan robotika yang dapat diskalakan dan tak terbatas," kata perusahaan itu, menurut Robotics & Automation News.
Secara tradisional, mengajarkan robot keterampilan fisik baru melalui simulasi memerlukan spesialis untuk memodelkan lingkungan, objek fisika, dan tubuh robot dengan tangan — sebuah proses yang diukur dalam beberapa minggu untuk setiap tugas baru. Jika video dapat menggantikan pemodelan manual tersebut, hambatan dalam mengajarkan keterampilan baru kepada robot beralih dari pekerjaan teknik ke ketersediaan rekaman demonstrasi, yang pada dasarnya tidak terbatas di internet.
Apa yang Membuat Video-ke-Sim-ke-Nyata Berbeda
Sebagian besar jalur pembelajaran robot di industri menggunakan salah satu dari dua rute: teleoperasi, di mana manusia mendemonstrasikan tugas-tugas yang ditiru robot secara manual, atau pelatihan simulasi, di mana para insinyur membangun lingkungan virtual di mana kebijakan kontrol mempraktikkan jutaan pengulangan sebelum diterapkan. Keduanya berfungsi dengan baik, dan skalanya buruk — teleoperasi membutuhkan banyak tenaga kerja untuk setiap tugas, dan pemodelan simulasi membutuhkan banyak tenaga kerja untuk setiap lingkungan.
Demo cornhole ditujukan pada hambatan kedua. Dalam catatan pengujian DeepMind, tidak ada insinyur yang membangun lingkungan lubang jagung: Argon menggunakan video mentah, menafsirkan tata ruang adegan, mengerjakan lintasan sendi seluruh tubuh yang diperlukan untuk lemparan, dan menulis kode simulasi itu sendiri. Peran manusia dalam loop tersebut, pada dasarnya, direduksi menjadi pernah memfilmkan seseorang yang sedang memainkan game tersebut.
Cornhole adalah kasus uji yang sengaja dipilih dengan baik. Kelihatannya sepele, tetapi mendaratkan beanbag pada target yang ditinggikan menuntut kombinasi yang sulit ditemukan oleh robot humanoid: keseimbangan seluruh tubuh yang stabil selama putaran, dinamika lengan yang baik, pelepasan tepat waktu, dan toleransi terhadap balistik proyektil yang lepas. Tujuh keberhasilan berturut-turut di dunia nyata menunjukkan bahwa kebijakan yang diterapkan adalah kebijakan yang kuat dan bukannya sebuah keberuntungan, meskipun satu pengujian internal hanya memiliki basis bukti yang sempit.
Hasil Tolok Ukur Penalaran yang Terwujud
Bersamaan dengan demo cornhole, DeepMind menguji Argon pada benchmark Embodied Reasoning (ERQA), yang mengukur kemampuan model untuk memikirkan masalah fisik dan spasial dalam lingkungan 3D. Perusahaan mengatakan Argon mencapai skor 87% pada benchmark.
Penalaran fisik dan spasial secara luas dipandang sebagai salah satu kesenjangan yang memisahkan model bahasa frontier dari sistem yang dapat beroperasi secara berguna di dunia fisik, itulah sebabnya tolok ukur robotika seperti ERQA semakin menarik perhatian laboratorium-laboratorium besar.
Bagian dari Peluncuran Gemini 4 Argon yang Lebih Luas
Pekerjaan robotika merupakan salah satu aplikasi dalam peluncuran yang lebih luas. Google memposisikan Gemini 4 Argon sebagai model terdepan yang menggabungkan penalaran visual-semantik, pemahaman fisik, dan pembuatan kode otonom, yang ditujukan untuk tugas-tugas teknik, ilmiah, pengkodean, dan bisnis yang kompleks. Perusahaan tersebut mengatakan telah menggunakan model tersebut secara internal pada proyek-proyek mulai dari optimalisasi basis kode perangkat lunak besar hingga komputasi kuantum, fusi nuklir, dan penelitian ilmu hayati.
Model ini tersedia melalui produk AI Google dan API Gemini, dengan demonstrasi robotik yang disajikan sebagai bukti pemahaman fisik model tersebut dan bukan sebagai produk pengiriman untuk operator robot.
Mengapa Penting bagi Industri Humanoid
Untuk sektor robot humanoid yang sedang berkembang – di mana Apptronik adalah salah satu pemain paling terkemuka – hasilnya mengarah pada proposisi nilai jangka pendek yang spesifik: model AI dengan tujuan umum yang dapat mengubah video pasif menjadi simulasi yang dapat dilatih dapat secara signifikan mengurangi biaya pengajaran tugas-tugas baru pada robot, yang merupakan hambatan utama antara demo yang mengesankan saat ini dan penerapan yang bermanfaat secara ekonomi dalam skala besar.
Pembingkaian DeepMind sendiri menekankan hal yang sama. Demonstrasi tersebut, kata perusahaan, menunjukkan bagaimana model tujuan umum dapat mengurangi jumlah rekayasa manual yang diperlukan untuk mengajarkan keterampilan fisik baru kepada robot.
Tujuh tembakan lubang jagung tidak akan memindahkan paket di gudang. Namun jalur yang memproduksinya – menonton video, memahami fisika, menulis simulasi, mentransfer ke perangkat keras – adalah bagian yang akan diperhatikan oleh perusahaan robotika, dan investornya.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
