Компания Google DeepMind продемонстрировала методику обучения робототехнике, в которой ее модель Gemini 4 Argon изучает физическую задачу, просматривая обычное видео, а затем передает изученное поведение настоящему роботу-гуманоиду. По данным Robotics & Automation News, в демоверсии, опубликованной одновременно с запуском модели, гуманоид Apollo, созданный Apptronik, просмотрел кадры с человеком, играющим в кукурузной яме, а затем сделал семь последовательных выстрелов в реальных испытаниях.
От необработанного видео до настоящего робота Подробнее об этой истории — в нашем последние разработки в ИИ.
Демонстрация была сосредоточена на одном внутреннем тесте. Аргону показали необработанное видео, на котором человек играет в «корнхол» — игру в бросание на заднем дворе. Затем модель проанализировала окружающую среду, нанесла на карту ее пространственные координаты и рассчитала движения суставов всего тела, необходимые для воспроизведения задачи на гуманоидной платформе.
Примечательным шагом стало то, что последовало дальше: вместо того, чтобы полагаться на то, что инженеры вручную создадут физическую симуляцию, Argon самостоятельно сгенерировал код симуляции. Затем изученное поведение было перенесено из этой самогенерируемой симуляции на гуманоида Apollo от Apptronik, который реализовал его в физическом мире.
По данным Google DeepMind, Аполлон впоследствии нанес семь последовательных выстрелов во время реальных испытаний — чистый прогон для задачи, требующей от робота координации баланса, траектории движения рук и времени выпуска.
Недели моделирования сжаты до часов
Google DeepMind описывает этот подход как конвейер «Видео-сим-реальное», и его суть заключается не только в возможностях, но и во времени разработки.
«Этот конвейер «Video-to-Sim-to-Real» сжимает недели ручного моделирования в несколько часов, превращая обычные видеоролики в масштабируемую, бесконечную тренировочную площадку для робототехники», — заявила компания, согласно Robotics & Automation News.
Традиционно обучение робота новому физическому навыку посредством моделирования требовало от специалистов моделирования окружающей среды, физики объекта и тела робота вручную — процесс, измеряемый неделями для каждой новой задачи. Если видео сможет заменить ручное моделирование, то узким местом в обучении роботов новым навыкам станет не инженерный труд, а доступность демонстрационных материалов, количество которых практически не ограничено в Интернете.
Чем отличается преобразование видео в сим-карту в реальность
Большинство конвейеров обучения роботов в промышленности используют один из двух маршрутов: дистанционное управление, когда люди вручную демонстрируют задачи, которые имитирует робот, или симуляционное обучение, когда инженеры вручную создают виртуальные среды, в которых политики управления практикуют миллионы повторений перед развертыванием. Оба работают, и оба плохо масштабируются: телеоперация трудоемка для каждой задачи, а симуляционное моделирование трудоемко для каждой среды.
Демо-версия Cornhole нацелена на устранение второго узкого места. В отчете DeepMind об испытаниях ни один инженер не построил среду «корнхола»: Аргон просмотрел необработанное видео, интерпретировал пространственную компоновку сцены, разработал траектории суставов всего тела, необходимые для броска, и написал сам код моделирования. Роль человека в цикле, по сути, сводилась к тому, что он однажды заснял, как кто-то играет в игру.
Cornhole — это намеренно хорошо выбранный тестовый пример. Это выглядит тривиально, но приземление мешка с фасолью на поднятую цель требует именно той комбинации, которую роботы-гуманоиды трудно найти: стабильный баланс всего тела во время подъема, прекрасная динамика рук, синхронизированный выпуск и устойчивость к баллистике незакрепленного снаряда. Семь последовательных успехов в реальном мире указывают на то, что переданная политика была скорее надежной, чем удачной, хотя единственное внутреннее тестирование представляет собой узкую доказательную базу.
Результаты теста Embedded Reasoning
Наряду с демонстрацией Cornhole компания DeepMind протестировала Argon на тесте Embodied Reasoning (ERQA), который измеряет способность модели рассуждать о физических и пространственных проблемах в трехмерных средах. Компания сообщает, что Argon набрал 87% по этому тесту.
Физическое и пространственное мышление широко рассматривается как один из пробелов, отделяющих передовые языковые модели от систем, которые могут эффективно работать в физическом мире, поэтому тесты робототехники, такие как ERQA, привлекают все большее внимание крупных лабораторий.
Часть более широкого запуска Gemini 4 Argon
Работа в области робототехники — это одно из приложений в более широком масштабе. Google позиционирует Gemini 4 Argon как передовую модель, сочетающую визуально-семантическое мышление, физическое понимание и автономную генерацию кода, предназначенную для решения сложных инженерных, научных, программных и бизнес-задач. Компания заявляет, что уже использовала эту модель внутри себя в различных проектах: от оптимизации больших кодовых баз программного обеспечения до квантовых вычислений, ядерного синтеза и исследований в области наук о жизни.
Модель становится доступной через продукты искусственного интеллекта Google и API Gemini, а демонстрация робототехники представлена как свидетельство физического понимания модели, а не как готовый продукт для операторов роботов.
Почему это важно для индустрии гуманоидов
Для растущего сектора гуманоидных роботов, где Apptronik является одним из наиболее выдающихся игроков, результат указывает на конкретное ценностное предложение в краткосрочной перспективе: модели искусственного интеллекта общего назначения, которые могут конвертировать пассивное видео в обучаемые симуляции, могут значительно снизить стоимость обучения роботов новым задачам, что является основным препятствием между сегодняшними впечатляющими демонстрациями и экономически полезным развертыванием в масштабе.
В собственной формулировке DeepMind подчеркивается тот же момент. Демонстрация, по словам компании, показывает, как модели общего назначения могут сократить объем ручного проектирования, необходимого для обучения роботов новым физическим навыкам.
Семь выстрелов из корнхола не переместят посылки на складе. Но конвейер, который их создал — посмотреть видео, понять физику, написать симуляцию, перенести на оборудование — это та часть, за которой будут следить компании, занимающиеся робототехникой, и их инвесторы.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
