Google DeepMind는 Gemini 4 Argon 모델이 일반 비디오를 시청하여 물리적 작업을 학습한 다음 학습된 동작을 실제 휴머노이드 로봇에 전송하는 로봇 공학 훈련 기술을 시연했습니다. Robotics & Automation News에 따르면, 모델 출시와 함께 공개된 데모에서 Apptronik이 제작한 Apollo 휴머노이드는 콘홀 게임을 하는 사람의 영상을 시청한 후 실제 시험에서 7번 연속 사격을 기록했습니다.

원본 비디오에서 실제 로봇으로 이 이야기에 대한 자세한 내용은 인공지능 뉴스를 참조하세요.

시연은 단일 내부 테스트를 중심으로 진행되었습니다. 아르곤은 뒷마당 던지기 게임인 콘홀을 플레이하는 인간의 원시 비디오를 보여주었습니다. 그런 다음 모델은 환경을 분석하고 공간 좌표를 매핑하고 휴머노이드 플랫폼에서 작업을 재현하는 데 필요한 전신 관절 움직임을 계산했습니다.

주목할만한 단계는 다음 단계입니다. 엔지니어에게 의존하여 물리 시뮬레이션을 직접 구축하는 대신 Argon이 시뮬레이션 코드 자체를 자율적으로 생성했습니다. 학습된 행동은 자체 생성 시뮬레이션에서 Apptronik의 Apollo 휴머노이드로 전송되어 물리적 세계에서 실행되었습니다.

Google DeepMind에 따르면 Apollo는 이후 실제 시험에서 7개의 연속 샷을 성공시켰습니다. 이는 로봇이 균형, 팔 궤적 및 릴리스 타이밍을 조정해야 하는 작업을 위한 깔끔한 실행입니다.

몇 주간의 시뮬레이션 작업을 몇 시간으로 압축

Google DeepMind는 이 접근 방식을 "Video-to-Sim-to-Real" 파이프라인으로 설명하며, 프레젠테이션은 기능만큼이나 엔지니어링 시간에 관한 것입니다.

Robotics & Automation News에 따르면 회사는 "이 '비디오-심-투-리얼' 파이프라인은 몇 주간의 수동 시뮬레이션 모델링을 몇 시간으로 압축하여 일반 비디오를 로봇 공학을 위한 확장 가능하고 무한한 교육장으로 변환합니다"라고 말했습니다.

전통적으로 시뮬레이션을 통해 로봇에게 새로운 물리적 기술을 가르치려면 전문가가 환경, 물체 물리학 및 로봇 본체를 손으로 모델링해야 했습니다. 이 프로세스는 새로운 작업마다 몇 주 만에 측정되었습니다. 비디오가 수동 모델링을 대체할 수 있다면 로봇에게 새로운 기술을 가르치는 병목 현상은 엔지니어링 노동에서 인터넷에서 사실상 무제한의 데모 영상 가용성으로 전환됩니다.

비디오-심-투-실제의 차이점

업계에서 대부분의 로봇 학습 파이프라인은 두 가지 경로 중 하나를 사용합니다. 원격 조작(인간이 로봇이 모방하는 작업을 수동으로 시연하는 경우) 또는 엔지니어가 제어 정책을 배포하기 전에 수백만 번의 반복을 연습하는 가상 환경을 직접 구축하는 시뮬레이션 교육입니다. 둘 다 작동하지만 둘 다 확장성이 좋지 않습니다. 원격 작업은 작업별로 노동 집약적이며 시뮬레이션 모델링은 환경별로 노동 집약적입니다.

콘홀 데모는 두 번째 병목 현상을 목표로 합니다. DeepMind의 테스트 설명에 따르면 콘홀 환경을 구축한 엔지니어는 없었습니다. Argon은 원시 비디오를 소비하고 장면의 공간 레이아웃을 해석하고 던지기에 필요한 전신 관절 궤적을 계산하고 시뮬레이션 코드 자체를 작성했습니다. 루프에서 인간의 역할은 사실상 누군가가 게임을 플레이하는 모습을 촬영하는 것으로 축소되었습니다.

Cornhole은 의도적으로 잘 선택된 테스트 케이스입니다. 사소해 보이지만 높은 목표물에 콩주머니를 착지시키는 것은 휴머노이드 로봇이 어려워하는 바로 그 조합, 즉 와인드업 중 안정적인 전신 균형, 미세한 팔 역학, 적시 릴리스 및 느슨한 발사체의 탄도에 대한 내성을 요구합니다. 현실 세계에서 7번의 연속 성공은 이전된 정책이 운이 좋았다기보다는 강력했음을 나타냅니다. 단, 단일 내부 테스트에서는 증거 기반이 좁습니다.

구체화된 추론 벤치마크 결과

DeepMind는 콘홀 데모와 함께 ERQA(Embodied Reasoning 벤치마크)에서 아르곤을 테스트했습니다. 이는 3D 환경에서 물리적 및 공간적 문제를 추론하는 모델의 능력을 측정합니다. 회사는 아르곤이 벤치마크에서 87%의 점수를 달성했다고 밝혔습니다.

물리적 및 공간적 추론은 물리적 세계에서 유용하게 작동할 수 있는 시스템과 개척 언어 모델을 분리하는 격차 중 하나로 널리 알려져 있습니다. 이것이 바로 ERQA와 같은 로봇공학 벤치마크가 주요 연구실에서 점점 더 많은 관심을 끌고 있는 이유입니다.

더 광범위한 Gemini 4 Argon 출시의 일부

로봇공학 작업은 더 넓은 범위의 응용 분야 중 하나입니다. Google은 Gemini 4 Argon을 복잡한 엔지니어링, 과학, 코딩 및 비즈니스 작업을 목표로 하는 시각적 의미 추론, 물리적 이해 및 자율 코드 생성을 결합한 최전선 모델로 자리매김하고 있습니다. 회사는 대규모 소프트웨어 코드베이스 최적화부터 양자 컴퓨팅, 핵융합, 생명과학 연구에 이르기까지 다양한 프로젝트에서 이미 이 모델을 내부적으로 사용했다고 밝혔습니다.

이 모델은 Google의 AI 제품과 Gemini API를 통해 제공되고 있으며, 로봇 공학 시연은 로봇 운영자를 위한 배송 제품이 아닌 모델의 물리적 이해에 대한 증거로 제시됩니다.

휴머노이드 산업에 중요한 이유

Apptronik이 가장 눈에 띄는 기업 중 하나인 성장하고 있는 휴머노이드 로봇 부문의 경우 결과는 특정한 단기 가치 제안을 가리킵니다. 수동적 비디오를 훈련 가능한 시뮬레이션으로 변환할 수 있는 범용 AI 모델은 로봇에게 새로운 작업을 가르치는 비용을 획기적으로 줄일 수 있습니다. 이는 오늘날의 인상적인 데모와 경제적으로 유용한 대규모 배포 사이의 핵심 장애물입니다.

DeepMind 자체 프레이밍도 같은 점을 강조합니다. 회사에 따르면 이번 시연은 범용 모델이 로봇에게 새로운 물리적 기술을 가르치는 데 필요한 수동 엔지니어링의 양을 어떻게 줄일 수 있는지 보여줍니다.

7개의 콘홀 샷은 창고의 패키지를 이동하지 않습니다. 그러나 이를 생산한 파이프라인(비디오 보기, 물리학 이해, 시뮬레이션 작성, 하드웨어로 전송)은 로봇 회사와 투자자가 지켜볼 부분입니다.

---

AI 최신 소식

최신 AI 뉴스, 분석 및 혁신을 한 곳에서 확인하세요.

AI 뉴스 더 보기 →