GPT-6 Astra zeigt im neuen Robotik-Benchmark einen „schrittweisen Wandel“ im räumlichen Denken

Der GPT-6 Astra von OpenAI kämpft möglicherweise mit Problemen beim Benutzervertrauen an der Codierungsfront, aber bei einem neuen Robotik-Benchmark veröffentlicht er Zahlen, die Forscher von einem qualitativen Sprung sprechen lassen. Auf StationeryBench, einem Test rund um gewöhnliche Schreibtischobjekte, erledigte Astra 7 von 100 Aufgaben vollständig, während MolmoAct2 von Ai2, das Modell, mit dem es antrat, keine Aufgabe erledigte.

Der von The Decoder beschriebene Benchmark lässt die beiden Modelle bei fünf Schreibtischobjektaufgaben gegeneinander antreten – das Öffnen eines Markers, das Ausschütten von Büroklammern oder das Führen eines Lineals zwischen zwei Roboterarmen. Beide Modelle steuerten in 200 Versuchen die gleichen zweiarmigen YAM-Roboter, ein Steuerungsdesign, das darauf abzielte, die Modellfähigkeiten von Hardwareunterschieden zu isolieren. Alle Ergebnisse, Videos und Code wurden auf GitHub veröffentlicht. Weitere Forschungsberichte wie diese finden Sie in unserem KI-News-Hub.

Laut Forschern ein „Schrittwechsel“.

Yoav Artzi, ein KI-Forscher bei Cornell und Google DeepMind, nannte die Leistung von Astra einen „Schrittwechsel im räumlichen Denken“ – die Art von Sprach-Benchmark-Ergebnissen, die selten erzielt werden. Bei einem noch unveröffentlichten Benchmark namens REMAP erreicht Astra eine Genauigkeit, die nahezu dem menschlichen Niveau entspricht, obwohl Artzi anmerkte, dass „selbst Astra nicht an das herankommt, was Menschen in anderen Szenarien erreichen“.

Der mittlere Fortschrittswert von Astra erreichte 46 von 100, verglichen mit 12 für MolmoAct2 – eine Lücke, die wichtiger ist, als die Schlagzeilen der Abschlusszahlen vermuten lassen. Robotikaufgaben werden sowohl nach teilweisem Fortschritt als auch nach vollständigem Erfolg bewertet, und die Verdreifachung der Durchschnittspunktzahl eines Rivalen zeigt an, dass das Modell durch Manipulationssequenzen stetig weiterkommt, anstatt bei einigen wenigen Versuchen durch Glück erfolgreich zu sein.

Warum räumliches Denken plötzlich wichtig ist

Das Ergebnis gibt Hinweise darauf, wie Astra trainiert wurde. Artzi vermutet, dass OpenAI das Modell anhand großer Mengen an 3D-Daten wie Blender-Szenen trainiert hat, was der besonderen Stärke des Modells bei 3D-Aufgaben entspricht. Wenn diese Lesart richtig ist, deutet dies darauf hin, dass synthetische 3D-Umgebungen – billiger und sicherer als die Datenerfassung in der realen Welt – zu einem gangbaren Weg zur Kompetenz in der physischen Welt werden, einem der am längsten bestehenden Engpässe in der Robotik.

Das Design des Benchmarks sagt auch etwas darüber aus, wohin die Robotik-Bewertung gehen wird. Die Aufgaben von StationeryBench sind bewusst banal – das Öffnen eines Markers, das Ausschütten von Büroklammern, das Überreichen eines Lineals –, denn alltägliche Manipulationen und nicht filmische Meisterleistungen sind das, was Labordemos von nützlichen Maschinen unterscheidet. Die Bewertung beider Modelle auf derselben Dual-Arm-YAM-Hardware in 200 Versuchen und die Veröffentlichung jedes Videos ist ein ungewöhnlich transparenter Aufbau für einen Leistungsanspruch, der das Flaggschiff eines Grenzlabors betrifft.

MolmoAct2, das Vergleichsmodell des Allen Institute for AI (Ai2), das keine der Aufgaben erledigt, ist eine eigene Art von Datum: Es deutet darauf hin, dass sich die Lücke zwischen universellen Grenzmodellen und speziell entwickelten Robotikmodellen nicht mehr nur schließt, sondern umkehrt, zumindest bei begründungsintensiver Manipulation.

Es passt auch zu den erklärten Ambitionen von OpenAI: Laut einem von The Decoder zitierten Bericht hat das Unternehmen langfristige Pläne, eigene Verbraucherroboter zu bauen. Ein Grenzsprachmodell, das über Objekte, Hände und Flugbahnen schlussfolgern kann, ist die Software-Hälfte dieser Tonhöhe. Die Hardware-Hälfte bleiben ungelöst, aber Benchmarks wie StationeryBench sind die Art und Weise, wie diese Geschichte gemessen wird.

Kontext: Ein Model mit einer komplizierten Woche

Das Ergebnis führt zu einem seltsamen Nachrichtenzyklus für OpenAI. Das gleiche Modell, das im Mittelpunkt dieses Benchmarks steht, musste sich eine Woche lang mit Nutzerbeschwerden darüber beschweren, dass es seit dem Start dümmer geworden sei – Beschwerden, die OpenAI auf drei benannte Mängel zurückführte, von Fehlfunktionen bei Fähigkeiten bis hin zu einem sich schlecht verhaltenden Kontextexperiment, bevor die Codex-Nutzungsbeschränkungen zurückgesetzt wurden. Ein Modell, das in der Produktion stolpert, während es im Labor bahnbrechende Ergebnisse veröffentlicht, ist ein Präzedenzfall der aktuellen KI-Branche: Leistungsfähigkeit und Zuverlässigkeit entwickeln sich in unterschiedlichen Takten weiter.

Es landet auch inmitten einer Sicherheitsdebatte, der sich auch die Führung von OpenAI angeschlossen hat. Der Chefwissenschaftler des Unternehmens warnte, dass kein Labor die Kontrolle zunehmend autonomer Systeme gelöst habe, und der CEO von Anthropic forderte die Branche auf, die Grenzentwicklung insgesamt zu verlangsamen. Benchmarks, die Modelle zeigen, die die physische Welt manipulieren – selbst wenn die Welt nur ein mit Briefpapier bedeckter Schreibtisch ist – sind genau die Art von Ergebnis, die beide Führungskräfte anführen, wenn sie argumentieren, dass das Tempo des Fortschritts schneller ist als die Kontrolle.

Das Fazit

Sieben vollständig erledigte Aufgaben von 100 werden morgen keinen Roboter auf Ihren Schreibtisch bringen. Aber der Übergang von null auf sieben bei einem Konkurrenten mit einem durchschnittlichen Fortschrittswert, der dreimal höher ist, ist die Art von Diskontinuität, die vor zwei Jahren die Leistungstabellen im Sprachverständnis neu definiert hat. Die offene Frage ist, ob dasselbe Modell diese Kompetenz zuverlässig außerhalb der Benchmark und zu einem Preis bieten kann, den Entwickler zu zahlen bereit sind.

Der KI einen Schritt voraus sein

Benchmarks, Durchbrüche und der Wettlauf um Maschinen, die handeln – jeden Tag verfolgt.

Weitere KI-Neuigkeiten lesen →