Google DeepMind telah menunjukkan teknik latihan robotik di mana model Gemini 4 Argonnya mempelajari tugas fizikal dengan menonton video biasa, kemudian memindahkan tingkah laku yang dipelajari kepada robot humanoid sebenar. Dalam demo, yang diterbitkan bersama pelancaran model itu, humanoid Apollo yang dibina Apptronik menonton rakaman seseorang yang bermain cornhole — dan kemudian mendaratkan tujuh pukulan berturut-turut dalam percubaan dunia sebenar, menurut Robotics & Automation News.
Daripada Video Mentah kepada Robot Sebenar For more context on this story, see our ongoing artificial intelligence updates.
Demonstrasi itu berpusat pada satu ujian dalaman. Argon telah ditunjukkan video mentah tentang manusia bermain lubang jagung, permainan lempar belakang rumah. Model itu kemudian menganalisis persekitaran, memetakan koordinat spatialnya, dan mengira pergerakan sendi seluruh badan yang diperlukan untuk menghasilkan semula tugas pada platform humanoid.
Langkah yang ketara ialah apa yang berlaku seterusnya: daripada bergantung kepada jurutera untuk membina sendiri simulasi fizik, Argon secara autonomi menjana kod simulasi itu sendiri. Tingkah laku yang dipelajari kemudiannya dipindahkan daripada simulasi yang dijana sendiri kepada humanoid Apollo Apptronik, yang melaksanakannya di dunia fizikal.
Menurut Google DeepMind, Apollo kemudiannya mendarat tujuh pukulan lurus semasa percubaan dunia sebenar - larian bersih untuk tugas yang memerlukan robot menyelaraskan keseimbangan, trajektori lengan dan masa pelepasan.
Minggu Kerja Simulasi Dimampatkan Menjadi Jam
Google DeepMind menerangkan pendekatan itu sebagai saluran paip "Video-to-Sim-to-Real", dan padang adalah tentang masa kejuruteraan dan juga tentang keupayaan.
"Saluran paip 'Video-ke-Sim-ke-Sebenar' ini memampatkan pemodelan simulasi manual berminggu-minggu menjadi beberapa jam, mengubah video biasa menjadi tempat latihan robotik yang boleh skala dan tidak terhingga," kata syarikat itu, menurut Berita Robotik & Automasi.
Secara tradisinya, mengajar robot kemahiran fizikal baharu melalui simulasi memerlukan pakar untuk memodelkan persekitaran, fizik objek dan badan robot dengan tangan — proses yang diukur dalam minggu untuk setiap tugas baharu. Jika video boleh menggantikan pemodelan manual itu, halangan untuk mengajar robot kemahiran baharu beralih daripada buruh kejuruteraan kepada ketersediaan rakaman demonstrasi, yang secara berkesan tidak terhad di internet.
Perkara yang Membuatkan Video-ke-Sim-ke-Sebenar Berbeza
Kebanyakan saluran paip pembelajaran robot dalam industri menggunakan salah satu daripada dua laluan: teleoperasi, di mana manusia menunjukkan tugas secara manual yang ditiru robot, atau latihan simulasi, di mana jurutera membina persekitaran maya dengan tangan di mana dasar kawalan mengamalkan berjuta-juta ulangan sebelum penggunaan. Kedua-dua kerja, dan kedua-duanya berskala buruk — teleoperasi adalah intensif buruh bagi setiap tugas, dan pemodelan simulasi adalah intensif buruh bagi setiap persekitaran.
Demo lubang jagung bertujuan untuk kesesakan kedua. Dalam akaun DeepMind tentang ujian itu, tiada jurutera membina persekitaran lubang jagung: Argon menggunakan video mentah, mentafsirkan susun atur ruang tempat kejadian, menyusun trajektori sendi seluruh badan yang diperlukan, dan menulis kod simulasi itu sendiri. Peranan manusia dalam gelung itu, sebenarnya, dikurangkan kepada pernah merakam seseorang bermain permainan itu.
Cornhole ialah kes ujian yang dipilih dengan baik. Ia kelihatan remeh, tetapi mendaratkan pundi kacang pada sasaran yang dinaikkan memerlukan kombinasi robot humanoid yang sukar: keseimbangan seluruh badan yang stabil semasa penggulungan, dinamik lengan yang halus, pelepasan bermasa dan toleransi terhadap balistik peluru yang longgar. Tujuh kejayaan berturut-turut dalam dunia nyata menunjukkan dasar yang dipindahkan adalah kukuh dan bukannya bertuah, walaupun satu ujian dalaman adalah asas bukti yang sempit.
Keputusan Penanda Aras Penaakulan yang Dijelmakan
Di samping demo lubang jagung, DeepMind menguji Argon pada penanda aras Penaakulan Terwujud (ERQA), yang mengukur keupayaan model untuk membuat alasan tentang masalah fizikal dan spatial dalam persekitaran 3D. Syarikat itu berkata Argon mencapai skor 87% pada penanda aras.
Penaakulan fizikal dan spatial dilihat secara meluas sebagai salah satu jurang yang memisahkan model bahasa sempadan daripada sistem yang boleh beroperasi dengan berguna dalam dunia fizikal, itulah sebabnya penanda aras robotik seperti ERQA telah menarik perhatian yang semakin meningkat daripada makmal utama.
Sebahagian daripada Pelancaran Gemini 4 Argon yang Lebih Luas
Kerja robotik adalah satu aplikasi dalam pelancaran yang lebih luas. Google meletakkan Gemini 4 Argon sebagai model sempadan yang menggabungkan penaakulan visual-semantik, pemahaman fizikal dan penjanaan kod autonomi, yang bertujuan untuk tugas kejuruteraan, saintifik, pengekodan dan perniagaan yang kompleks. Syarikat itu berkata ia telah menggunakan model itu secara dalaman pada projek-projek yang terdiri daripada mengoptimumkan pangkalan kod perisian yang besar kepada pengkomputeran kuantum, gabungan nuklear dan penyelidikan sains hayat.
Model ini disediakan melalui produk AI Google dan API Gemini, dengan demonstrasi robotik dipersembahkan sebagai bukti pemahaman fizikal model dan bukannya sebagai produk perkapalan untuk pengendali robot.
Mengapa Ia Penting untuk Industri Humanoid
Untuk sektor robot humanoid yang semakin berkembang — di mana Apptronik merupakan salah satu pemain yang paling menonjol — hasilnya menunjuk ke arah proposisi nilai jangka pendek yang khusus: model AI tujuan umum yang boleh menukar video pasif kepada simulasi boleh dilatih secara mendadak boleh mengurangkan kos mengajar robot tugas baharu, halangan teras antara demo yang mengagumkan hari ini dan penggunaan yang berguna dari segi ekonomi pada skala.
Pembingkaian DeepMind sendiri menekankan perkara yang sama. Demonstrasi itu, kata syarikat itu, menunjukkan bagaimana model tujuan umum boleh mengurangkan jumlah kejuruteraan manual yang diperlukan untuk mengajar robot kemahiran fizikal baharu.
Tujuh pukulan lubang jagung tidak akan memindahkan bungkusan di gudang. Tetapi saluran paip yang menghasilkan mereka - menonton video, memahami fizik, menulis simulasi, memindahkan kepada perkakasan - adalah bahagian yang syarikat robotik, dan pelabur mereka, akan menonton.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
