GPT-6 Astra arată „schimbare de pas” în raționamentul spațial pe noul standard de referință pentru robotică

GPT-6 Astra de la OpenAI s-ar putea confrunta cu probleme de încredere a utilizatorilor în ceea ce privește codificarea, dar pe un nou standard de robotică publică numere care îi fac pe cercetători să vorbească despre un salt calitativ. Pe StationeryBench, un test construit în jurul obiectelor obișnuite de birou, Astra a finalizat pe deplin 7 din 100 de sarcini, în timp ce MolmoAct2 de la Ai2, modelul cu care a fost înfruntat, a finalizat zero.

Criteriul de referință, descris de The Decoder, pune cele două modele unul față de celălalt pe parcursul a cinci sarcini-obiect de birou - deblocarea unui marker, turnarea agrafelor de hârtie sau trecerea unei rigle între două brațe robot. Ambele modele au controlat aceiași roboți YAM cu două brațe de-a lungul a 200 de încercări, un design de control menit să izoleze capacitatea modelului de diferențele hardware. Toate rezultatele, videoclipurile și codul au fost publicate pe GitHub. Pentru mai multă acoperire de cercetare ca aceasta, consultați centrul de știri AI.

O „schimbare de pas”, potrivit cercetătorilor

Yoav Artzi, un cercetător AI la Cornell și Google DeepMind, a numit performanța Astrei o „schimbare de treaptă în raționamentul spațial” – genul de rezultate de referință lingvistice pe care le obține rar. Pe un punct de referință încă nepublicat numit REMAP, Astra atinge o precizie apropiată de nivelul uman, deși Artzi a remarcat că „nici și Astra nu ajunge la ceea ce fac oamenii în alte scenarii”.

Scorul mediu de progres al Astra a atins 46 din 100, în comparație cu 12 pentru MolmoAct2 - un decalaj care contează mai mult decât sugerează cifrele de finalizare a titlurilor. Sarcinile de robotică sunt evaluate în funcție de progresul parțial, precum și de succesul total, iar triplarea scorului median al unui rival indică că modelul devine constant mai departe prin secvențe de manipulare, mai degrabă decât să reușească prin noroc la câteva încercări.

De ce contează brusc raționamentul spațial

Rezultatul sugerează modul în care a fost antrenat Astra. Artzi suspectează că OpenAI a antrenat modelul pe cantități mari de date 3D, cum ar fi scenele Blender, care s-ar alinia cu puterea specială a modelului în sarcinile 3D. Dacă această lectură este corectă, sugerează că mediile 3D sintetice – mai ieftine și mai sigure decât colectarea datelor din lumea reală – devin o cale viabilă către competența în lumea fizică, una dintre cele mai vechi blocaje din robotică.

Designul benchmark-ului spune, de asemenea, ceva despre direcția în care se îndreaptă evaluarea robotică. Sarcinile lui StationeryBench sunt în mod deliberat banale - descuierea unui marker, turnarea agrafelor de hârtie, predarea unei rigle - deoarece manipularea de zi cu zi, nu faptele cinematografice, este ceea ce separă demonstrațiile de laborator de mașinile utile. Evaluarea ambelor modele pe același hardware YAM cu două brațe în 200 de încercări și publicarea fiecărui videoclip este o configurație neobișnuit de transparentă pentru o revendicare a capacității care implică nava emblematică a unui laborator de frontieră.

MolmoAct2, modelul de comparație de la Institutul Allen pentru IA (Ai2), care nu duc la îndeplinire niciuna dintre sarcini este propriul său tip de datum: sugerează că decalajul dintre modelele de frontieră de uz general și modelele de robotică construite special nu se mai închide, ci se inversează, cel puțin în cazul manipulării grele de raționament.

Se potrivește, de asemenea, cu ambițiile declarate ale OpenAI: compania are planuri pe termen lung de a-și construi propriii roboți de consum, potrivit raportului citat de The Decoder. Un model de limbaj de frontieră care poate raționa despre obiecte, mâini și traiectorii este jumătatea software-ului acelui pas. Jumătatea hardware rămâne nerezolvată, dar punctele de referință precum StationeryBench sunt modul în care această poveste este măsurată.

Context: Un model cu o săptămână complicată

Rezultatul aterizează într-un ciclu ciudat de știri pentru OpenAI. Același model din centrul acestui benchmark și-a petrecut săptămâna confruntându-se cu plângerile utilizatorilor că a devenit mai prost de la lansare - plângeri pe care OpenAI le-a urmărit la trei defecte numite, de la abilități de aprindere greșită la un experiment de context cu comportament greșit, înainte de a reseta limitele de utilizare Codex. Un model care se poticnește în producție în timp ce postează rezultate ale schimbării trepte în laborator este un rezumat al industriei actuale de inteligență artificială: capacitatea și fiabilitatea avansează la diferite ceasuri.

De asemenea, aterizează pe fondul unei dezbateri despre siguranță la care s-a alăturat propria conducere a OpenAI. Omul de știință al companiei a avertizat că niciun laborator nu a rezolvat controlul sistemelor din ce în ce mai autonome, iar CEO-ul Anthropic a cerut industriei să încetinească cu totul dezvoltarea frontierei. Criteriile de referință care arată modele care manipulează lumea fizică – chiar dacă lumea este doar un birou acoperit cu articole de papetărie – sunt exact genul de rezultat pe care ambii directori îl citează atunci când susțin că ritmul progresului depășește supravegherea.

Concluzia

Șapte sarcini complet finalizate din 100 nu vor pune un robot pe birou mâine. Dar trecerea de la zero la șapte al unui rival, cu un scor mediu de progres de trei ori mai mare, este genul de discontinuitate care a redat diagramele de capabilități în înțelegerea limbii în urmă cu doi ani. Întrebarea deschisă este dacă același model poate oferi acea competență în mod fiabil, în afara standardului, la un preț pe care dezvoltatorii sunt dispuși să-l plătească.

Stai înaintea AI

Etape de referință, descoperiri și cursa către mașini care acționează - urmate în fiecare zi.

Citiți mai multe știri AI →