Google DeepMind har demonstrerat en träningsteknik för robotik där dess Gemini 4 Argon-modell lär sig en fysisk uppgift genom att titta på vanlig video och sedan överför det inlärda beteendet till en riktig humanoid robot. I demon, som publicerades vid sidan av modellens lansering, tittade den Apptronik-byggda Apollo-humanoiden på bilder av en person som lekte cornhole - och landade sedan sju på varandra följande skott i en verklig rättegång, enligt Robotics & Automation News.
Från råvideo till riktig robot For more context on this story, see our ongoing artificial intelligence updates.
Demonstrationen fokuserade på ett enda internt test. Argon visades rå video av en människa som lekte cornhole, backyard toss game. Modellen analyserade sedan miljön, kartlade dess rumsliga koordinater och beräknade de ledrörelser i hela kroppen som krävs för att reproducera uppgiften på en humanoid plattform.
Det anmärkningsvärda steget är vad som kom härnäst: snarare än att förlita sig på ingenjörer för att handbygga en fysiksimulering, genererade Argon autonomt själva simuleringskoden. Det inlärda beteendet överfördes sedan från den självgenererade simuleringen till Apptroniks Apollo humanoid, som utförde den i den fysiska världen.
Enligt Google DeepMind landade Apollo sedan sju raka skott under den verkliga rättegången - en ren körning för en uppgift som kräver att roboten koordinerar balans, armbana och släpptiming.
Veckors simuleringsarbete komprimerat till timmar
Google DeepMind beskriver tillvägagångssättet som en "Video-to-Sim-to-Real" pipeline, och pitch handlar lika mycket om ingenjörstid som det handlar om förmåga.
"Denna 'Video-to-Sim-to-Real'-pipeline komprimerar veckors manuell simuleringsmodellering till några timmar, förvandlar vanliga videor till en skalbar, oändlig träningsplats för robotik", sa företaget enligt Robotics & Automation News.
Traditionellt sett har det krävts av specialister att lära en robot en ny fysisk färdighet genom simulering för att modellera miljön, objektfysiken och robotens kropp för hand - en process som mäts i veckor för varje ny uppgift. Om video kan ersätta den manuella modelleringen, skiftar flaskhalsen för att lära robotar nya färdigheter från ingenjörsarbete till tillgängligheten av demonstrationsmaterial, som i praktiken är obegränsat på internet.
Vad gör Video-to-Sim-to-Real annorlunda
De flesta pipelines för robotinlärning inom industrin använder en av två vägar: teleoperation, där människor manuellt demonstrerar uppgifter som roboten imiterar, eller simuleringsträning, där ingenjörer för hand bygger virtuella miljöer där kontrollpolicyer övar miljontals upprepningar före driftsättning. Båda fungerar, och båda skalas dåligt - teleoperation är arbetsintensiv per uppgift, och simuleringsmodellering är arbetsintensiv per miljö.
Cornhole-demon är inriktad på den andra flaskhalsen. I DeepMinds redogörelse för testet byggde ingen ingenjör cornhole-miljön: Argon konsumerade den råa videon, tolkade scenens rumsliga layout, utarbetade hela kroppens ledbanor som krävdes och skrev själva simuleringskoden. Den mänskliga rollen i loopen reducerades i själva verket till att en gång ha filmat någon som spelar spelet.
Cornhole är ett medvetet väl valt testfall. Det ser trivialt ut, men att landa en sittsäck på ett upphöjt mål kräver exakt den kombination som humanoida robotar har svårt för: stabil balans i hela kroppen under avvecklingen, fin armdynamik, tidsinställd släppning och tolerans för ballistiken hos en lös projektil. Sju på varandra följande framgångar i den verkliga världen indikerar att den överförda policyn var robust snarare än lycklig, även om ett enda internt test är en smal bevisbas.
Förkroppsligade resonemang Benchmark-resultat
Vid sidan av cornhole-demon testade DeepMind Argon på Embodied Reasoning benchmark (ERQA), som mäter en modells förmåga att resonera kring fysiska och rumsliga problem i 3D-miljöer. Företaget säger att Argon uppnådde en poäng på 87% på benchmark.
Fysiska och rumsliga resonemang ses allmänt som en av luckorna som skiljer gränsspråksmodeller från system som kan fungera användbart i den fysiska världen, vilket är anledningen till att riktmärken för robotik som ERQA har fått ökad uppmärksamhet från de stora labben.
Del av Broader Gemini 4 Argon-lanseringen
Robotarbetet är en applikation i en bredare lansering. Google positionerar Gemini 4 Argon som en gränsmodell som kombinerar visuellt-semantiska resonemang, fysisk förståelse och autonom kodgenerering, inriktad på komplexa tekniska, vetenskapliga, kodnings- och affärsuppgifter. Företaget säger att det redan har använt modellen internt i projekt som sträcker sig från att optimera stora programvarukodbaser till kvantberäkningar, kärnfusion och biovetenskaplig forskning.
Modellen görs tillgänglig genom Googles AI-produkter och Gemini API, med robotdemonstrationen presenterad som bevis på modellens fysiska förståelse snarare än som en fraktprodukt för robotoperatörer.
Varför det är viktigt för den humanoida industrin
För den växande humanoida robotsektorn – där Apptronik är en av de mest framträdande aktörerna – pekar resultatet mot ett specifikt kortsiktigt värdeförslag: AI-modeller för allmänna ändamål som kan omvandla passiv video till träningsbara simuleringar kan dramatiskt minska kostnaderna för att lära robotar nya uppgifter, kärnhindret mellan dagens imponerande demos och ekonomiskt användbar utbyggnad i stor skala.
DeepMinds egen inramning understryker samma sak. Demonstrationen, säger företaget, visar hur allmänna modeller kan minska mängden manuell ingenjörskonst som krävs för att lära robotar nya fysiska färdigheter.
Sju cornhole shots kommer inte att flytta paket i ett lager. Men pipelinen som producerade dem - titta på en video, förstå fysiken, skriv simuleringen, överför till hårdvara - är den del som robotföretag och deras investerare kommer att titta på.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
