Google DeepMind zademonstrował technikę szkolenia robotyki, w której model Gemini 4 Argon uczy się zadania fizycznego, oglądając zwykły film, a następnie przenosi wyuczone zachowanie na prawdziwego humanoidalnego robota. Jak podaje Robotics & Automation News, w wersji demonstracyjnej opublikowanej wraz z premierą modelu zbudowany przez Apptronik humanoid Apollo obejrzał materiał przedstawiający osobę bawiącą się w dziurkę od ziemi, a następnie oddał siedem kolejnych strzałów w czasie próby w rzeczywistych warunkach.
Od surowego wideo do prawdziwego robota Więcej kontekstu na ten temat znajdziesz w naszych wiadomości AI.
Demonstracja skupiała się na pojedynczym teście wewnętrznym. Argonowi wyświetlono surowe wideo przedstawiające człowieka grającego w cornhole, grę w rzucanie podwórkiem. Następnie model przeanalizował środowisko, zmapował jego współrzędne przestrzenne i obliczył ruchy stawów całego ciała wymagane do odtworzenia zadania na platformie humanoidalnej.
Godnym uwagi krokiem było to, co nastąpiło później: zamiast polegać na inżynierach, którzy ręcznie tworzyli symulację fizyki, Argon samodzielnie wygenerował kod symulacyjny. Wyuczone zachowanie zostało następnie przeniesione z wygenerowanej przez siebie symulacji do humanoida Apollo firmy Apptronik, który wykonał je w świecie fizycznym.
Według Google DeepMind Apollo następnie oddał siedem prostych strzałów podczas próby w świecie rzeczywistym, co oznacza czysty przebieg zadania wymagającego od robota koordynacji równowagi, trajektorii ramion i czasu zwolnienia.
Tygodnie pracy symulacyjnej skompresowane w godzinach
Google DeepMind opisuje to podejście jako potok „od wideo do karty SIM do rzeczywistości”, a jego prezentacja dotyczy w równym stopniu czasu prac inżynieryjnych, jak i możliwości.
„Ten proces „od wideo do karty SIM do rzeczywistości” skraca tygodnie ręcznego modelowania symulacyjnego do kilku godzin, przekształcając zwykłe filmy w skalowalny, nieskończony poligon szkoleniowy z zakresu robotyki” – podała firma według Robotics & Automation News.
Tradycyjnie uczenie robota nowych umiejętności fizycznych poprzez symulację wymagało od specjalistów ręcznego modelowania środowiska, fizyki obiektu i ciała robota — proces ten mierzony był w tygodniach w przypadku każdego nowego zadania. Jeśli wideo może zastąpić ręczne modelowanie, wąskie gardło w uczeniu robotów nowych umiejętności przesunie się z pracy inżynierskiej na dostępność materiałów demonstracyjnych, która w Internecie jest w rzeczywistości nieograniczona.
Co sprawia, że konwersja wideo na kartę SIM a na rzeczywistość jest inna
Większość potoków uczenia się robotów w przemyśle wykorzystuje jedną z dwóch ścieżek: teleoperację, w której ludzie ręcznie demonstrują zadania naśladowane przez robota, lub szkolenie symulacyjne, w którym inżynierowie ręcznie tworzą wirtualne środowiska, w których zasady kontroli ćwiczą miliony powtórzeń przed wdrożeniem. Obydwa działają i oba są słabo skalowalne — teleoperacja jest pracochłonna w każdym zadaniu, a modelowanie symulacyjne jest pracochłonne w każdym środowisku.
Demo Cornhole jest skierowane na drugie wąskie gardło. Według relacji DeepMind z testu żaden inżynier nie zbudował środowiska cornhole: Argon wykorzystał surowe wideo, zinterpretował układ przestrzenny sceny, opracował trajektorie stawów całego ciała wymagane do rzutu i sam napisał kod symulacyjny. W efekcie rola człowieka w pętli została zredukowana do jednorazowego sfilmowania kogoś grającego w grę.
Cornhole to celowo dobrze wybrany przypadek testowy. Wygląda to banalnie, ale lądowanie workiem z fasolą na podniesionym celu wymaga dokładnie takiej kombinacji, jaka jest trudna dla humanoidalnych robotów: stabilna równowaga całego ciała podczas nawijania, dobra dynamika ramion, wypuszczenie w określonym czasie i tolerancja na balistykę luźnego pocisku. Siedem kolejnych sukcesów w świecie rzeczywistym wskazuje, że przeniesiona polityka była raczej solidna niż szczęśliwa, chociaż pojedynczy test wewnętrzny zapewnia wąską bazę dowodową.
Wyniki testów porównawczych ucieleśnionego rozumowania
Oprócz wersji demonstracyjnej Cornhole firma DeepMind przetestowała Argon w teście porównawczym Embodied Reasoning (ERQA), który mierzy zdolność modelu do wnioskowania o problemach fizycznych i przestrzennych w środowiskach 3D. Firma twierdzi, że Argon osiągnął wynik 87% w benchmarku.
Rozumowanie fizyczne i przestrzenne jest powszechnie postrzegane jako jedna z luk oddzielających modele języków pionierskich od systemów, które mogą z pożytkiem działać w świecie fizycznym, dlatego też testy porównawcze robotyki, takie jak ERQA, przyciągają coraz większą uwagę głównych laboratoriów.
Część szerszego startu argonu Gemini 4
Robotyka jest jednym z zastosowań o szerszym zasięgu. Google pozycjonuje Gemini 4 Argon jako model pionierski łączący rozumowanie wizualno-semantyczne, zrozumienie fizyczne i autonomiczne generowanie kodu, ukierunkowany na złożone zadania inżynieryjne, naukowe, programistyczne i biznesowe. Firma twierdzi, że stosowała już ten model wewnętrznie w projektach, od optymalizacji dużych baz kodów oprogramowania po obliczenia kwantowe, syntezę jądrową i badania z zakresu nauk przyrodniczych.
Model jest udostępniany za pośrednictwem produktów Google związanych ze sztuczną inteligencją i interfejsu API Gemini, a demonstracja robotyki jest przedstawiana jako dowód fizycznego zrozumienia modelu, a nie jako produkt wysyłkowy dla operatorów robotów.
Dlaczego ma to znaczenie dla przemysłu humanoidalnego
W przypadku rozwijającego się sektora robotów humanoidalnych — w którym Apptronik jest jednym z najważniejszych graczy — wynik wskazuje na konkretną propozycję wartości w perspektywie krótkoterminowej: modele sztucznej inteligencji ogólnego przeznaczenia, które potrafią przekształcać pasywne wideo w możliwe do wyszkolenia symulacje, mogłyby radykalnie obniżyć koszty uczenia robotów nowych zadań, co stanowi główną przeszkodę pomiędzy dzisiejszymi imponującymi demonstracjami a ekonomicznie użytecznym wdrożeniem na dużą skalę.
Własne ramy DeepMind podkreślają ten sam punkt. Jak twierdzi firma, demonstracja pokazuje, w jaki sposób modele ogólnego przeznaczenia mogą zmniejszyć ilość prac ręcznych wymaganych do nauczenia robotów nowych umiejętności fizycznych.
Siedem shotów z cornhole nie przesunie paczek w magazynie. Ale proces, który je wyprodukował – obejrzyj film, poznaj fizykę, napisz symulację, przenieś na sprzęt – to część, którą będą oglądać firmy zajmujące się robotyką i ich inwestorzy.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
