Google DeepMind heeft een robotica-trainingstechniek gedemonstreerd waarbij het Gemini 4 Argon-model een fysieke taak leert door naar gewone video te kijken en het geleerde gedrag vervolgens overbrengt naar een echte mensachtige robot. In de demo, gepubliceerd naast de lancering van het model, bekeek de door Apptronik gebouwde Apollo-humanoïde beelden van een persoon die cornhole speelde - en maakte vervolgens zeven opeenvolgende opnames in een real-world proef, volgens Robotics & Automation News.

Van onbewerkte video naar echte robot Voor meer context over dit verhaal, zie ons laatste AI-ontwikkelingen.

De demonstratie concentreerde zich op een enkele interne test. Argon kreeg een onbewerkte video te zien van een mens die cornhole speelde, het toss-spel in de achtertuin. Het model analyseerde vervolgens de omgeving, bracht de ruimtelijke coördinaten in kaart en berekende de gewrichtsbewegingen van het hele lichaam die nodig waren om de taak op een mensachtig platform te reproduceren.

De opmerkelijke stap is wat daarna volgde: in plaats van te vertrouwen op ingenieurs die een natuurkundige simulatie met de hand bouwden, genereerde Argon de simulatiecode zelf autonoom. Het aangeleerde gedrag werd vervolgens van die zelf gegenereerde simulatie overgebracht naar de Apollo-humanoïde van Apptronik, die het in de fysieke wereld uitvoerde.

Volgens Google DeepMind heeft Apollo vervolgens zeven opeenvolgende schoten geland tijdens de echte proef – een schone run voor een taak waarbij de robot het evenwicht, de armbaan en de timing van het loslaten moet coördineren.

Weken aan simulatiewerk gecomprimeerd in uren

Google DeepMind beschrijft de aanpak als een ‘Video-to-Sim-to-Real’-pijplijn, en de pitch gaat zowel over technische tijd als over mogelijkheden.

"Deze 'Video-to-Sim-to-Real'-pijplijn comprimeert weken aan handmatige simulatiemodellering tot een paar uur, waardoor gewone video's worden getransformeerd in een schaalbaar, oneindig oefenterrein voor robotica", aldus het bedrijf volgens Robotics & Automation News.

Traditioneel vereiste het aanleren van een nieuwe fysieke vaardigheid aan een robot door middel van simulatie dat specialisten de omgeving, de objectfysica en het lichaam van de robot met de hand moesten modelleren – een proces dat voor elke nieuwe taak in weken werd gemeten. Als video deze handmatige modellering kan vervangen, verschuift het knelpunt bij het aanleren van nieuwe vaardigheden aan robots van technische arbeid naar de beschikbaarheid van demonstratiebeelden, die feitelijk onbeperkt zijn op internet.

Wat video-naar-sim-naar-echt anders maakt

De meeste robotleerpijplijnen in de industrie gebruiken een van twee routes: teleoperatie, waarbij mensen handmatig taken demonstreren die de robot imiteert, of simulatietraining, waarbij ingenieurs met de hand virtuele omgevingen bouwen waarin het controlebeleid miljoenen herhalingen oefent voordat het wordt ingezet. Beide werken, en beide zijn slecht schaalbaar: teleoperatie is arbeidsintensief per taak, en simulatiemodellering is arbeidsintensief per omgeving.

De cornhole-demo is gericht op het tweede knelpunt. In het verslag van DeepMind over de test heeft geen enkele ingenieur de cornhole-omgeving gebouwd: Argon heeft de onbewerkte video geconsumeerd, de ruimtelijke lay-out van de scène geïnterpreteerd, de gewrichtstrajecten van het hele lichaam uitgewerkt die de vereiste worp nodig had, en schreef de simulatiecode zelf. De menselijke rol in de loop was in feite beperkt tot het filmen van iemand die het spel speelde.

Cornhole is een bewust goed gekozen testcase. Het ziet er triviaal uit, maar het landen van een zitzak op een verhoogd doel vereist precies de combinatie die humanoïde robots moeilijk vinden: stabiele balans van het hele lichaam tijdens het opwinden, fijne armdynamiek, getimede vrijlating en tolerantie voor de ballistiek van een los projectiel. Zeven opeenvolgende successen in de echte wereld geven aan dat het overgedragen beleid eerder robuust dan gelukkig was, ook al is een enkele interne test slechts een beperkte bewijsbasis.

Benchmarkresultaten voor belichaamd redeneren

Naast de cornhole-demo testte DeepMind Argon op de Embody Reasoning benchmark (ERQA), die het vermogen van een model meet om te redeneren over fysieke en ruimtelijke problemen in 3D-omgevingen. Volgens het bedrijf behaalde Argon een score van 87% op de benchmark.

Fysiek en ruimtelijk redeneren wordt algemeen gezien als een van de gaten die grenstaalmodellen scheiden van systemen die nuttig kunnen functioneren in de fysieke wereld. Daarom hebben robotica-benchmarks zoals ERQA steeds meer aandacht getrokken van de grote laboratoria.

Onderdeel van de bredere lancering van Gemini 4 Argon

Het roboticawerk is één toepassing in een bredere lancering. Google positioneert Gemini 4 Argon als een grensmodel dat visueel-semantisch redeneren, fysiek begrip en autonome codegeneratie combineert, gericht op complexe technische, wetenschappelijke, codeer- en zakelijke taken. Het bedrijf zegt dat het het model al intern heeft gebruikt bij projecten variërend van het optimaliseren van grote softwarecodebases tot quantum computing, kernfusie en onderzoek op het gebied van de levenswetenschappen.

Het model wordt beschikbaar gesteld via de AI-producten van Google en de Gemini API, waarbij de robotica-demonstratie wordt gepresenteerd als bewijs van het fysieke begrip van het model in plaats van als een verzendproduct voor robotoperators.

Waarom het belangrijk is voor de humanoïde industrie

Voor de groeiende humanoïde robotsector – waar Apptronik een van de meest prominente spelers is – wijst het resultaat in de richting van een specifieke waardepropositie voor de korte termijn: AI-modellen voor algemene doeleinden die passieve video kunnen omzetten in trainbare simulaties zouden de kosten van het aanleren van nieuwe taken aan robots dramatisch kunnen verlagen, het belangrijkste obstakel tussen de huidige indrukwekkende demo’s en economisch nuttige inzet op schaal.

De eigen formulering van DeepMind benadrukt hetzelfde punt. De demonstratie laat volgens het bedrijf zien hoe modellen voor algemeen gebruik de hoeveelheid handmatige engineering kunnen verminderen die nodig is om robots nieuwe fysieke vaardigheden te leren.

Zeven cornhole-shots zullen pakketten in een magazijn niet verplaatsen. Maar de pijplijn die ze heeft voortgebracht – bekijk een video, begrijp de natuurkunde, schrijf de simulatie, overstap naar hardware – is het deel waar roboticabedrijven en hun investeerders naar zullen kijken.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →