GPT-6 Astra toont 'stapsverandering' in ruimtelijk redeneren op basis van nieuwe robotica-benchmark

OpenAI's GPT-6 Astra kampt misschien met problemen met het gebruikersvertrouwen op het gebied van coderen, maar op een nieuwe robotica-benchmark publiceert het cijfers die onderzoekers doen praten over een kwalitatieve sprong. Op StationeryBench, een test opgebouwd rond gewone bureauobjecten, voltooide Astra 7 van de 100 taken volledig, terwijl Ai2's MolmoAct2, het model waartegen het werd getest, nul voltooide.

De benchmark, beschreven door The Decoder, plaatst de twee modellen tegenover elkaar in vijf bureau-objecttaken: het verwijderen van de dop van een marker, het uitstorten van paperclips of het doorgeven van een liniaal tussen twee robotarmen. Beide modellen bestuurden dezelfde YAM-robots met twee armen in 200 tests, een besturingsontwerp dat bedoeld was om de modelmogelijkheden te isoleren van hardwareverschillen. Alle resultaten, video's en code zijn gepubliceerd op GitHub. Voor meer onderzoeksverslaggeving zoals deze kunt u onze AI-nieuwshub raadplegen.

Een 'stapverandering', aldus onderzoekers

Yoav Artzi, een AI-onderzoeker bij Cornell en Google DeepMind, noemde de prestaties van Astra een “stapsverandering in ruimtelijk redeneren” – het soort taalbenchmarkresultaten dat zelden oplevert. Op een nog niet gepubliceerde benchmark genaamd REMAP bereikt Astra een nauwkeurigheid die dicht bij het menselijke niveau ligt, hoewel Artzi opmerkte dat "zelfs Astra niet kan bereiken wat mensen in andere scenario's doen."

De gemiddelde voortgangsscore van Astra bedroeg 46 van de 100, vergeleken met 12 voor MolmoAct2 – een kloof die er meer toe doet dan de voltooiingscijfers suggereren. Roboticataken worden beoordeeld op zowel gedeeltelijke voortgang als volledig succes, en het verdrievoudigen van de gemiddelde score van een rivaal geeft aan dat het model consequent verder komt door middel van manipulatiesequenties in plaats van door geluk te slagen in een handvol pogingen.

Waarom ruimtelijk redeneren er plotseling toe doet

Het resultaat geeft aan hoe Astra is opgeleid. Artzi vermoedt dat OpenAI het model heeft getraind op grote hoeveelheden 3D-gegevens, zoals Blender-scènes, wat zou aansluiten bij de specifieke kracht van het model bij 3D-taken. Als die lezing klopt, suggereert dit dat synthetische 3D-omgevingen – goedkoper en veiliger dan gegevensverzameling in de echte wereld – een haalbare weg aan het worden zijn naar competentie in de fysieke wereld, een van de langst bestaande knelpunten in de robotica.

Het ontwerp van de benchmark zegt ook iets over waar de evaluatie van robotica naartoe gaat. De taken van StationeryBench zijn opzettelijk alledaags – het dopje van een stift verwijderen, paperclips uitgieten, een liniaal overhandigen – omdat alledaagse manipulatie, en niet filmische hoogstandjes, laboratoriumdemonstraties onderscheidt van nuttige machines. Het beoordelen van beide modellen op dezelfde dual-arm YAM-hardware in 200 tests en het publiceren van elke video is een ongebruikelijk transparante opzet voor een claim op capaciteit waarbij het vlaggenschip van een grenslaboratorium betrokken is.

MolmoAct2, het vergelijkingsmodel van het Allen Institute for AI (Ai2), dat geen van de taken vervult, is zijn eigen soort referentiepunt: het suggereert dat de kloof tussen grensmodellen voor algemeen gebruik en speciaal gebouwde robotmodellen niet langer alleen maar kleiner wordt, maar ook omkeert, tenminste als het gaat om manipulatie waarbij veel redeneringen nodig zijn.

Het past ook bij de uitgesproken ambities van OpenAI: het bedrijf heeft langetermijnplannen om zijn eigen consumentenrobots te bouwen, zo blijkt uit rapportage geciteerd door The Decoder. Een grenstaalmodel dat kan redeneren over objecten, handen en trajecten is de softwarehelft van dat veld. De hardwarehelft blijft onopgelost, maar benchmarks zoals StationeryBench zijn de manier waarop dat verhaal wordt gemeten.

Context: een model met een ingewikkelde week

Het resultaat komt terecht in een vreemde nieuwscyclus voor OpenAI. Hetzelfde model dat centraal staat in deze benchmark heeft de afgelopen week te maken gehad met klachten van gebruikers dat het sinds de lancering dommer was geworden. Klachten die OpenAI terugvoerden op drie genoemde defecten, van het mislukken van vaardigheden tot een zich misdragend contextexperiment, voordat de Codex-gebruikslimieten opnieuw werden ingesteld. Een model dat tijdens de productie struikelt terwijl de resultaten van stapsgewijze veranderingen in het laboratorium worden gepubliceerd, is een kenmerk van de huidige AI-industrie: mogelijkheden en betrouwbaarheid evolueren op verschillende tijdstippen.

Het belandt ook te midden van een veiligheidsdebat waarbij de eigen leiding van OpenAI zich heeft aangesloten. De hoofdwetenschapper van het bedrijf heeft gewaarschuwd dat geen enkel laboratorium de controle over steeds autonomere systemen heeft opgelost, en de CEO van Anthropic heeft de industrie opgeroepen de grensontwikkeling helemaal te vertragen. Benchmarks die modellen laten zien die de fysieke wereld manipuleren – ook al is de wereld slechts een bureau bedekt met briefpapier – zijn precies het soort resultaat dat beide managers aanhalen als ze betogen dat het tempo van de vooruitgang het toezicht te boven gaat.

Het eindresultaat

Zeven volledig voltooide taken van de 100 zullen morgen geen robot op je bureau zetten. Maar van nul naar zeven gaan bij een rivaal, met een gemiddelde voortgangsscore die drie keer zo hoog is, is het soort discontinuïteit dat de capaciteiten op het gebied van taalbegrip twee jaar geleden opnieuw heeft getekend. De open vraag is of hetzelfde model die competentie op betrouwbare wijze kan leveren, buiten de benchmark, tegen een prijs die ontwikkelaars bereid zijn te betalen.

Blijf AI een stap voor

Benchmarks, doorbraken en de race naar machines die actie ondernemen – volgen elke dag.

Lees meer AI-nieuws →