GPT-6 Astra ukazuje „Krokovou změnu“ v prostorovém uvažování v novém benchmarku robotiky

OpenAI GPT-6 Astra se možná potýká s problémy s uživatelskou důvěrou na frontě kódování, ale v novém robotickém benchmarku uvádí čísla, která vědci mluví o kvalitativním skoku. Na StationeryBench, testu postaveném na běžných stolech, Astra dokončila 7 ze 100 úkolů, zatímco MolmoAct2 od Ai2, model, proti kterému byla postavena, dokončil nulu.

Srovnávací test, popsaný The Decoder, staví oba modely proti sobě v pěti úlohách na stole – odvíčkování fixu, vysypání kancelářských sponek nebo předání pravítka mezi dvěma robotickými rameny. Oba modely ovládaly stejné dvouramenné roboty YAM ve 200 pokusech, což je návrh řízení, který měl izolovat schopnosti modelu od hardwarových rozdílů. Všechny výsledky, videa a kód byly zveřejněny na GitHubu. Další pokrytí výzkumu, jako je tento, najdete v našem [centru zpráv o AI] (https://aibuzzwire.news).

„Kroková změna“ podle výzkumníků

Yoav Artzi, výzkumník umělé inteligence ve společnosti Cornell a Google DeepMind, nazval výkon Astry „krokovou změnou v prostorovém uvažování“ – což je druh jazykového benchmarku, který se málokdy vydělá. Na dosud nepublikovaném benchmarku zvaném REMAP dosahuje Astra přesnosti blízké lidské úrovni, ačkoli Artzi poznamenal, že „ani Astra nedosáhne toho, co lidé v jiných scénářích“.

Střední skóre pokroku společnosti Astra dosáhlo 46 ze 100 ve srovnání s 12 pro MolmoAct2 – což je rozdíl, na kterém záleží více, než naznačují čísla dokončení titulků. Robotické úkoly jsou odstupňovány podle částečného pokroku i plného úspěchu a ztrojnásobení průměrného skóre soupeře naznačuje, že se model soustavně dostává dále prostřednictvím manipulačních sekvencí, místo aby uspěl díky štěstí v několika pokusech.

Proč najednou záleží na prostorovém uvažování

Výsledek naznačuje, jak byla Astra trénována. Artzi má podezření, že OpenAI trénovala model na velkém množství 3D dat, jako jsou scény Blenderu, což by odpovídalo konkrétní síle modelu při 3D úlohách. Pokud je toto čtení správné, naznačuje to, že syntetická 3D prostředí – levnější a bezpečnější než shromažďování dat v reálném světě – se stávají schůdnou cestou ke kompetencím ve fyzickém světě, což je jedna z nejdelších překážek v robotice.

Design benchmarku také něco vypovídá o tom, kam směřuje hodnocení robotiky. Úkoly StationeryBench jsou záměrně všední – odvíčkování fixu, vysypání kancelářských sponek, předání pravítka – protože každodenní manipulace, nikoli filmové výkony, je to, co odděluje ukázky z laboratoří od užitečných strojů. Hodnocení obou modelů na stejném dvouramenném hardwaru YAM ve 200 testech a publikování každého videa je neobvykle transparentní nastavení pro nárokování schopností zahrnující vlajkovou loď hraniční laboratoře.

MolmoAct2, srovnávací model od Allenova institutu pro AI (Ai2), který nedokončí žádný z úkolů, není svým vlastním druhem data: naznačuje, že propast mezi univerzálními hraničními modely a účelovými modely robotiky se již nejen uzavírá, ale převrací, alespoň při manipulaci náročné na uvažování.

Také to zapadá do deklarovaných ambicí OpenAI: společnost má dlouhodobé plány na vybudování vlastních robotů pro spotřebitele, podle zpráv citovaných The Decoder. Hraniční jazykový model, který dokáže uvažovat o předmětech, rukou a trajektoriích, je softwarová polovina tohoto hřiště. Hardwarová polovina zůstává nevyřešena, ale měřítka, jako je StationeryBench, jsou tím, jak se tento příběh měří.

Kontext: Model s komplikovaným týdnem

Výsledek přistane v podivném zpravodajském cyklu pro OpenAI. Stejný model v centru tohoto benchmarku strávil týden čelením stížnostem uživatelů, že se od uvedení stal hloupějším – stížnostem, které OpenAI vysledovalo ke třem pojmenovaným defektům, od chybných dovedností po experiment se špatným kontextem, než resetovalo limity využití Codexu. Model, který klopýtá ve výrobě a zároveň zveřejňuje výsledky postupných změn v laboratoři, je specifikem současného odvětví umělé inteligence: schopnosti a spolehlivost postupují na různých taktech.

Zapadá také do debaty o bezpečnosti, ke které se připojilo vlastní vedení OpenAI. Hlavní vědec společnosti varoval, že žádná laboratoř nevyřešila kontrolu stále více autonomních systémů, a generální ředitel společnosti Anthropic vyzval průmysl, aby zcela zpomalil hraniční rozvoj. Benchmarky ukazující modely manipulující s fyzickým světem – i když je svět jen stolem pokrytým papírem – jsou přesně tím druhem výsledků, které oba manažeři uvádějí, když tvrdí, že tempo pokroku předčí nedopatření.

Sečteno a podtrženo

Sedm plně dokončených úkolů ze 100 vám zítra nepoloží robota na stůl. Ale přechod z nuly soupeře na sedm, s mediánem pokroku třikrát vyšším, je druh diskontinuity, který před dvěma lety překreslil tabulky schopností v porozumění jazyku. Otevřenou otázkou je, zda stejný model dokáže spolehlivě zajistit tuto kompetenci mimo referenční hodnotu za cenu, kterou jsou vývojáři ochotni zaplatit.

Stay Ahead of AI

Benchmarky, průlomy a závod o stroje, které fungují – následovaly každý den.

Přečtěte si další zprávy o AI →