Google DeepMind продемонстрував методику навчання робототехніки, в якій його модель Gemini 4 Argon вивчає фізичне завдання, переглядаючи звичайне відео, а потім передає вивчену поведінку справжньому людиноподібному роботу. Згідно з новинами Robotics & Automation News, у демонстрації, опублікованій разом із презентацією моделі, гуманоїд Apollo, створений компанією Apptronik, переглянув кадри людини, яка грає в кукурудзяну нору, а потім зробив сім послідовних пострілів у реальному випробуванні.
Від необробленого відео до справжнього робота For more context on this story, see our ongoing latest AI developments.
Демонстрація була зосереджена на одному внутрішньому тесті. Аргону показали необроблене відео людини, яка грає в кукурудзяну яму, гру в підкидання на задньому дворі. Потім модель проаналізувала середовище, відобразила його просторові координати та розрахувала рухи всього тіла, необхідні для відтворення завдання на гуманоїдній платформі.
Помітним кроком є те, що відбулося далі: замість того, щоб покладатися на інженерів у ручному створенні симуляції фізики, Argon самостійно згенерував код моделювання. Потім вивчена поведінка була перенесена з цієї самогенерованої симуляції до гуманоїда Apptronik Apollo, який виконав її у фізичному світі.
За даними Google DeepMind, Apollo згодом зробив сім прямих пострілів під час випробувань у реальному світі — чистий запуск для завдання, яке вимагає від робота координації балансу, траєкторії руху та часу випуску.
Тижні роботи по моделюванню, стиснуті в години
Google DeepMind описує цей підхід як конвеєр «відео до симулятора до реального», і мова йде не тільки про час розробки, але й про можливості.
«Цей конвеєр «Video-to-Sim-to-Real» стискає тижні ручного симуляційного моделювання в кілька годин, перетворюючи звичайні відео в масштабований, нескінченний тренувальний майданчик для робототехніки», – заявили в компанії, згідно з Robotics & Automation News.
Традиційно навчання робота новим фізичним навичкам за допомогою симуляції вимагало від фахівців моделювання навколишнього середовища, фізики об’єкта та тіла робота вручну — процес вимірювався тижнями для кожного нового завдання. Якщо відео може замінити це ручне моделювання, вузьке місце для навчання роботів новим навичкам переходить від інженерної праці до доступності демонстраційних матеріалів, які фактично необмежені в Інтернеті.
Чим відрізняється Video-to-Sim-to-Real
Більшість конвеєрів навчання роботів у промисловості використовують один із двох шляхів: дистанційне керування, коли люди вручну демонструють завдання, які імітує робот, або симуляційне навчання, де інженери вручну створюють віртуальні середовища, у яких політики керування практикують мільйони повторень перед розгортанням. Обидва працюють і обидва погано масштабуються — дистанційна операція трудомістка для кожного завдання, а імітаційне моделювання — для кожного середовища.
Демонстрація Cornhole спрямована на друге вузьке місце. Згідно з описом тесту DeepMind, жоден інженер не створював середовище кукурудзяної ями: Аргон використовував необроблене відео, інтерпретував просторову схему сцени, розробляв траєкторії суглобів усього тіла, необхідні для кидка, і написав сам код моделювання. Роль людини в циклі фактично зводилася до того, що вона колись знімала, як хтось грає в гру.
Cornhole — це навмисно вдало підібраний тест. Це виглядає тривіально, але приземлення мішка-мішка на підняту ціль вимагає саме тієї комбінації, яку важко знайти роботам-гуманоїдам: стабільного балансу всього тіла під час заводу, тонкої динаміки рук, своєчасного випуску та терпимості до балістичних характеристик вільного снаряда. Сім послідовних успіхів у реальному світі вказують на те, що передана політика була надійною, а не щасливою, хоча один внутрішній тест є вузькою базою доказів.
Результати порівняльного тесту Embodied Reasoning
Поряд з демонстрацією кукурудзяної ями DeepMind перевірив Argon на тесті Embodied Reasoning (ERQA), який вимірює здатність моделі міркувати про фізичні та просторові проблеми в 3D-середовищі. Компанія стверджує, що Argon досяг результату 87% за тестом.
Фізичні та просторові міркування широко розглядаються як одна з прогалин, що відокремлюють прикордонні мовні моделі від систем, які можуть ефективно працювати у фізичному світі, саме тому тести робототехніки, такі як ERQA, привертають все більшу увагу великих лабораторій.
Частина ширшого запуску Gemini 4 Argon
Робота з робототехнікою є одним із застосувань у ширшому запуску. Google позиціонує Gemini 4 Argon як передову модель, що поєднує візуально-семантичне мислення, фізичне розуміння та автономну генерацію коду, спрямовану на складні інженерні, наукові, кодувальні та бізнес-завдання. Компанія каже, що вже використовувала цю модель для внутрішніх проектів, починаючи від оптимізації великих кодових баз програмного забезпечення до квантових обчислень, ядерного синтезу та наукових досліджень у галузі життя.
Модель стає доступною через продукти штучного інтелекту Google і API Gemini, причому демонстрація робототехніки представлена як доказ фізичного розуміння моделі, а не як продукт доставки для роботів-операторів.
Чому це важливо для індустрії гуманоїдів
Для зростаючого сектору гуманоїдних роботів, де Apptronik є одним із найвидатніших гравців, результат вказує на конкретну короткострокову цінність: моделі штучного інтелекту загального призначення, які можуть перетворювати пасивне відео в симуляції, які можна навчити, можуть значно знизити витрати на навчання роботів новим завданням, що є основною перешкодою між сьогоднішніми вражаючими демонстраціями та економічно корисним розгортанням у великих масштабах.
Власне обрамлення DeepMind підкреслює те саме. Демонстрація, за словами компанії, показує, як моделі загального призначення можуть зменшити кількість ручного проектування, необхідного для навчання роботів новим фізичним навичкам.
Сім кукурудзяних пострілів не перемістять пакети на складі. Але конвеєр, який створив їх — перегляд відео, розуміння фізики, написання симуляції, перенесення на апаратне забезпечення — це та частина, за якою будуть спостерігати робототехнічні компанії та їхні інвестори.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
