Google DeepMind hat eine Robotik-Trainingstechnik demonstriert, bei der sein Gemini 4 Argon-Modell eine physische Aufgabe lernt, indem es sich ein gewöhnliches Video ansieht, und das erlernte Verhalten dann auf einen echten humanoiden Roboter überträgt. In der Demo, die zusammen mit der Markteinführung des Modells veröffentlicht wurde, sah sich der von Apptronik gebaute Apollo-Humanoid Aufnahmen einer Person an, die Cornhole spielte – und landete dann laut Robotics & Automation News sieben aufeinanderfolgende Schüsse in einem realen Versuch.
Vom Rohvideo zum echten Roboter Weitere Informationen zu dieser Geschichte finden Sie in unserer mehr KI-Geschichten.
Die Demonstration konzentrierte sich auf einen einzigen internen Test. Argon wurde ein Rohvideo eines Menschen gezeigt, der Cornhole, das Hinterhof-Wurfspiel, spielt. Das Modell analysierte dann die Umgebung, kartierte ihre räumlichen Koordinaten und berechnete die Gelenkbewegungen des gesamten Körpers, die erforderlich sind, um die Aufgabe auf einer humanoiden Plattform zu reproduzieren.
Der bemerkenswerte Schritt ist, was als nächstes kam: Anstatt sich darauf zu verlassen, dass Ingenieure eine physikalische Simulation von Hand erstellen, generierte Argon den Simulationscode selbst autonom. Das erlernte Verhalten wurde dann von dieser selbst generierten Simulation auf den Apollo-Humanoiden von Apptronik übertragen, der es in der physischen Welt ausführte.
Laut Google DeepMind landete Apollo anschließend während des realen Versuchs sieben Schüsse in Folge – ein sauberer Lauf für eine Aufgabe, bei der der Roboter das Gleichgewicht, die Armbewegung und den Zeitpunkt der Freigabe koordinieren muss.
Wochenlange Simulationsarbeit in Stunden komprimiert
Google DeepMind beschreibt den Ansatz als „Video-to-Sim-to-Real“-Pipeline, und bei dem Pitch geht es sowohl um die Entwicklungszeit als auch um die Leistungsfähigkeit.
„Diese ‚Video-to-Sim-to-Real‘-Pipeline komprimiert wochenlange manuelle Simulationsmodellierung auf wenige Stunden und verwandelt gewöhnliche Videos in ein skalierbares, unendliches Übungsgelände für Robotik“, sagte das Unternehmen laut Robotics & Automation News.
Traditionell erforderte das Erlernen einer neuen körperlichen Fähigkeit eines Roboters durch Simulation, dass Spezialisten die Umgebung, die Objektphysik und den Körper des Roboters von Hand modellierten – ein Prozess, der für jede neue Aufgabe mehrere Wochen dauerte. Wenn Videos diese manuelle Modellierung ersetzen können, verlagert sich der Engpass beim Erlernen neuer Fähigkeiten von Robotern von der Ingenieursarbeit hin zur Verfügbarkeit von Demonstrationsmaterial, das im Internet praktisch unbegrenzt verfügbar ist.
Was Video-to-Sim-to-Real anders macht
Die meisten Robot-Learning-Pipelines in der Industrie nutzen einen von zwei Wegen: Teleoperation, bei der Menschen manuell Aufgaben demonstrieren, die der Roboter nachahmt, oder Simulationstraining, bei dem Ingenieure von Hand virtuelle Umgebungen erstellen, in denen Kontrollrichtlinien Millionen von Wiederholungen üben, bevor sie eingesetzt werden. Beide funktionieren, und beide lassen sich schlecht skalieren – Teleoperation ist pro Aufgabe arbeitsintensiv und Simulationsmodellierung ist pro Umgebung arbeitsintensiv.
Die Cornhole-Demo zielt auf den zweiten Engpass ab. In DeepMinds Bericht über den Test hat kein Ingenieur die Cornhole-Umgebung erstellt: Argon hat das Rohvideo konsumiert, die räumliche Anordnung der Szene interpretiert, die für den Wurf erforderlichen Ganzkörper-Gelenkbahnen berechnet und den Simulationscode selbst geschrieben. Die menschliche Rolle in der Schleife wurde praktisch darauf reduziert, einmal jemanden beim Spielen des Spiels gefilmt zu haben.
Cornhole ist ein bewusst gut gewählter Testfall. Es sieht trivial aus, aber die Landung eines Sitzsacks auf einem erhöhten Ziel erfordert genau die Kombination, die humanoiden Robotern schwer fällt: stabiles Ganzkörpergleichgewicht beim Aufziehen, feine Armdynamik, zeitgesteuerte Freisetzung und Toleranz gegenüber der Ballistik eines losen Projektils. Sieben aufeinanderfolgende Erfolge in der realen Welt deuten darauf hin, dass die übertragene Richtlinie eher robust als erfolgreich war, obwohl ein einziger interner Test nur eine schmale Beweisbasis darstellt.
Benchmark-Ergebnisse für verkörpertes Denken
Neben der Cornhole-Demo testete DeepMind Argon anhand des Embodied Reasoning Benchmark (ERQA), der die Fähigkeit eines Modells misst, über physikalische und räumliche Probleme in 3D-Umgebungen nachzudenken. Nach Angaben des Unternehmens erreichte Argon im Benchmark einen Wert von 87 %.
Physikalisches und räumliches Denken wird allgemein als eine der Lücken angesehen, die Grenzsprachmodelle von Systemen trennt, die in der physischen Welt nützlich funktionieren können, weshalb Robotik-Benchmarks wie ERQA in den großen Labors zunehmend Aufmerksamkeit erregt haben.
Teil des umfassenderen Starts von Gemini 4 Argon
Die Robotikarbeit ist eine Anwendung in einer umfassenderen Einführung. Google positioniert Gemini 4 Argon als Grenzmodell, das visuell-semantisches Denken, physikalisches Verständnis und autonome Codegenerierung kombiniert und auf komplexe technische, wissenschaftliche, Codierungs- und Geschäftsaufgaben abzielt. Das Unternehmen gibt an, das Modell bereits intern bei Projekten eingesetzt zu haben, die von der Optimierung großer Software-Codebasen bis hin zu Quantencomputern, Kernfusion und biowissenschaftlicher Forschung reichen.
Das Modell wird über die KI-Produkte von Google und die Gemini-API verfügbar gemacht, wobei die Robotikdemonstration als Beweis für das physikalische Verständnis des Modells und nicht als Versandprodukt für Roboterbetreiber präsentiert wird.
Warum es für die humanoide Industrie wichtig ist
Für den wachsenden Sektor humanoider Roboter – in dem Apptronik einer der bedeutendsten Akteure ist – deutet das Ergebnis auf ein spezifisches kurzfristiges Wertversprechen hin: Allzweck-KI-Modelle, die passives Video in trainierbare Simulationen umwandeln können, könnten die Kosten für das Erlernen neuer Aufgaben für Roboter drastisch senken, das Haupthindernis zwischen den heutigen beeindruckenden Demos und einem wirtschaftlich sinnvollen Einsatz in großem Maßstab.
Die eigene Formulierung von DeepMind betont denselben Punkt. Die Demonstration, so das Unternehmen, zeige, wie Allzweckmodelle den manuellen Aufwand reduzieren könnten, der erforderlich sei, um Robotern neue körperliche Fähigkeiten beizubringen.
Sieben Cornhole-Shots reichen nicht aus, um Pakete in einem Lagerhaus zu bewegen. Aber die Pipeline, die sie hervorgebracht hat – ein Video ansehen, die Physik verstehen, die Simulation schreiben, auf Hardware übertragen – ist der Teil, den Robotikunternehmen und ihre Investoren im Auge behalten werden.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
