GPT-6 Astra pokazuje „skokową zmianę” w rozumowaniu przestrzennym w nowym teście porównawczym robotyki

GPT-6 Astra OpenAI może borykać się z problemami z zaufaniem użytkowników na froncie kodowania, ale w nowym teście porównawczym robotyki publikuje liczby, które badacze mówią o skoku jakościowym. W teście StationeryBench, w którym wykorzystano zwykłe obiekty na biurku, Astra w pełni wykonała 7 ze 100 zadań, podczas gdy model MolmoAct2 Ai2, z którym się mierzyła, wykonał zero.

Test porównawczy opisany przez The Decoder porównuje oba modele ze sobą w pięciu zadaniach związanych z obiektem na biurku — odkręcaniu markera, wysypywaniu spinaczy lub przesuwaniu linijki między dwoma ramionami robota. Obydwa modele kontrolowały te same dwuramienne roboty YAM w 200 próbach, a projekt sterowania miał na celu odizolowanie możliwości modelu od różnic sprzętowych. Wszystkie wyniki, filmy i kod zostały opublikowane na GitHubie. Więcej informacji na temat tego typu badań znajdziesz w naszym centrum aktualności o sztucznej inteligencji.

Zdaniem badaczy „krokowa zmiana”.

Yoav Artzi, badacz sztucznej inteligencji w Cornell i Google DeepMind, nazwał wydajność Astry „skokową zmianą w rozumowaniu przestrzennym” – co rzadko zdarza się w przypadku wyników testów porównawczych języków. W niepublikowanym jeszcze teście porównawczym o nazwie REMAP Astra osiąga dokładność bliską poziomowi ludzkiemu, chociaż Artzi zauważył, że „nawet Astra nie osiąga tego, co ludzie robią w innych scenariuszach”.

Średni wynik postępu Astry wyniósł 46 na 100, w porównaniu z 12 w przypadku MolmoAct2 – różnica, która ma większe znaczenie, niż sugerują najpopularniejsze liczby ukończenia. Zadania z zakresu robotyki są oceniane na podstawie częściowego postępu lub pełnego sukcesu, a potrojenie średniego wyniku rywala wskazuje, że model konsekwentnie posuwa się dalej dzięki sekwencjom manipulacji, a nie odniesie sukces dzięki szczęściu w kilku próbach.

Dlaczego rozumowanie przestrzenne nagle nabiera znaczenia

Wynik wskazuje, w jaki sposób Astra była szkolona. Artzi podejrzewa, że ​​OpenAI wytrenował model na dużych ilościach danych 3D, takich jak sceny Blendera, co odpowiadało szczególnym możliwościom modelu w zadaniach 3D. Jeśli ten odczyt jest słuszny, sugeruje, że syntetyczne środowiska 3D – tańsze i bezpieczniejsze niż gromadzenie danych w świecie rzeczywistym – stają się realną ścieżką do kompetencji w świecie fizycznym, co jest jednym z najdłużej występujących wąskich gardeł w robotyce.

Projekt testu porównawczego mówi również coś o tym, dokąd zmierza ocena robotyki. Zadania StationeryBench są celowo przyziemne — odkręcanie markera, wysypywanie spinaczy, wręczanie linijki — ponieważ to codzienna manipulacja, a nie kinowe wyczyny, odróżnia demonstracje laboratoryjne od użytecznych maszyn. Ocena obu modeli na tym samym dwuramiennym sprzęcie YAM w 200 próbach i publikowanie każdego filmu to niezwykle przejrzysta konfiguracja oświadczenia o możliwościach flagowego statku z pogranicza laboratorium.

MolmoAct2, model porównawczy z Allen Institute for AI (Ai2), niewykonujący żadnego z zadań jest swego rodzaju punktem odniesienia: sugeruje, że luka między uniwersalnymi modelami granicznym a specjalnie zbudowanymi modelami robotyki nie polega już tylko na zamykaniu, ale na odwracaniu, przynajmniej w przypadku manipulacji opartej na rozumowaniu.

Wpisuje się to również w deklarowane ambicje OpenAI: według raportów cytowanych przez The Decoder firma ma długoterminowe plany budowy własnych robotów konsumenckich. Model języka granicznego, który potrafi wnioskować o obiektach, rękach i trajektoriach, to programowa połowa tego tonu. Połowa sprzętu pozostaje nierozwiązana, ale testy porównawcze takie jak StationeryBench pozwalają zmierzyć tę historię.

Kontekst: model ze skomplikowanym tygodniem

Rezultatem jest dziwny cykl wiadomości dla OpenAI. Ten sam model znajdujący się w centrum tego testu porównawczego przez tydzień stawił czoła skargom użytkowników, że od czasu premiery stał się głupszy — skargi OpenAI powiązały z trzema nazwanymi defektami, od nieprawidłowych umiejętności po eksperyment kontekstowy, przed zresetowaniem limitów użycia Kodeksu. Model, który potknie się na etapie produkcyjnym podczas publikowania wyników zmian w laboratorium, jest precyzją obecnej branży sztucznej inteligencji: możliwości i niezawodność rosną przy różnych zegarach.

Pojawia się także w kontekście debaty na temat bezpieczeństwa, do której przyłączyło się kierownictwo OpenAI. Główny naukowiec firmy ostrzegł, że żadne laboratorium nie rozwiązało problemu kontroli coraz bardziej autonomicznych systemów, a dyrektor generalny Anthropic wezwał branżę do całkowitego spowolnienia pionierskiego rozwoju. Benchmarki pokazujące modele manipulujące światem fizycznym – nawet jeśli świat jest tylko biurkiem zakrytym papeterią – to dokładnie taki rodzaj wyników, na który powołują się obaj dyrektorzy, twierdząc, że tempo postępu przewyższa nadzór.

Konkluzja

Siedem w pełni wykonanych zadań na 100 nie sprawi, że jutro na Twoim biurku pojawi się robot. Jednak przejście od zera do siedmiu u rywala, przy trzykrotnie wyższej medianie postępu, to rodzaj nieciągłości, który dwa lata temu na nowo przerysował wykresy zdolności w zakresie rozumienia języka. Otwartym pytaniem jest, czy ten sam model może niezawodnie zapewnić te kompetencje, poza benchmarkiem, po cenie, którą deweloperzy są skłonni zapłacić.

Wyprzedź sztuczną inteligencję

Benchmarki, przełomy i wyścig w kierunku maszyn, które działają – następuje każdego dnia.

Przeczytaj więcej aktualności o sztucznej inteligencji →