GPT-6 Astra від OpenAI, можливо, має проблеми з довірою користувачів на фронті кодування, але на новому тесті робототехніки він показує цифри, які змушують дослідників говорити про якісний стрибок. У StationeryBench, тесті, побудованому на звичайних настільних об’єктах, Astra повністю виконала 7 із 100 завдань, тоді як MolmoAct2 від Ai2, модель, з якою вона протистояла, не виконала жодного.

Еталонний тест, описаний The Decoder, протиставляє дві моделі одна одній у п’яти завданнях, пов’язаних із настільними об’єктами — знімаючи кришку з маркера, викидаючи скріпки або пропускаючи лінійку між двома руками робота. Обидві моделі керували тими самими роботами YAM із подвійною рукою під час 200 випробувань, дизайн керування мав на меті ізолювати можливості моделі від відмінностей апаратного забезпечення. Усі результати, відео та код опубліковано на GitHub. Щоб отримати більше подібних досліджень, відвідайте наш центр новин AI.

«Крок зміна», за словами дослідників

Йоав Арці, дослідник штучного інтелекту в Cornell і Google DeepMind, назвав продуктивність Astra «кроковою зміною в просторових міркуваннях» — результат мовного порівняльного тестування рідко досягається. На ще не опублікованому тесті під назвою REMAP Astra досягає точності, близької до людського рівня, хоча Артзі зазначив, що «навіть Astra не досягає того, що роблять люди в інших сценаріях».

Середній показник прогресу Astra досяг 46 зі 100, у порівнянні з 12 для MolmoAct2 — прогалина, яка має більше значення, ніж показують цифри завершення заголовка. Завдання з робототехніки оцінюються як за частковим прогресом, так і за повним успіхом, а потроєння середнього балу суперника вказує на те, що модель постійно просувається далі завдяки послідовності маніпуляцій, а не досягає успіху в кількох випробуваннях.

Чому просторове мислення раптом має значення

Результат натякає на те, як тренували Astra. Артзі підозрює, що OpenAI тренував модель на великих обсягах 3D-даних, таких як сцени Blender, що відповідало б особливому ефекту моделі в 3D-завданнях. Якщо це читання вірне, це свідчить про те, що синтетичні 3D-середовища — дешевші та безпечніші, ніж збір даних у реальному світі — стають життєздатним шляхом до компетенції фізичного світу, одного з найдавніших вузьких місць у робототехніці.

Дизайн тесту також говорить про те, куди рухається робототехнічне оцінювання. Завдання StationeryBench навмисне буденні — відкрити маркер, висипати скріпки, подати лінійку — тому що щоденні маніпуляції, а не кінематографічні подвиги, відрізняють лабораторні демонстрації від корисних машин. Оцінка обох моделей на тому самому апаратному забезпеченні YAM із подвійним плечем у 200 випробуваннях і публікація кожного відео — це надзвичайно прозора установка для заявки про можливості, що включає флагман передової лабораторії.

MolmoAct2, модель порівняння від Інституту штучного інтелекту Аллена (Ai2), яка не виконує жодне із завдань, є своєрідною датою: вона припускає, що розрив між граничними моделями загального призначення та спеціально створеними моделями робототехніки більше не просто скорочується, а інвертується, принаймні через маніпуляції, що потребують обґрунтування.

Це також відповідає заявленим амбіціям OpenAI: компанія має довгострокові плани створити власних споживчих роботів, згідно зі звітністю, яку цитує The Decoder. Прикордонна мовна модель, яка може міркувати про об’єкти, руки та траєкторії, є програмною половиною цього кроку. Апаратна половина залишається нерозкритою, але такі тести, як StationeryBench, є тим, як ця історія вимірюється.

Контекст: модель зі складним тижнем

Результат потрапляє в дивний цикл новин для OpenAI. Та сама модель, яка була в центрі цього тесту, протягом тижня зіткнулася зі скаргами користувачів на те, що вона стала дурнішою з моменту запуску — скарги, які OpenAI відслідковував за трьома названими дефектами, від помилок у навичках до експерименту з неправильним контекстом, перш ніж скинути обмеження на використання Codex. Модель, яка спотикається у виробництві під час публікації результатів покрокових змін у лабораторії, є принципом поточної індустрії ШІ: можливості та надійність розвиваються на різних годинниках.

Це також трапляється під час дебатів щодо безпеки, до яких приєдналося керівництво OpenAI. Головний науковий співробітник компанії попередив, що жодна лабораторія не вирішила контролювати все більш автономні системи, а генеральний директор Anthropic закликав галузь повністю уповільнити передовий розвиток. Порівняльні показники, що показують моделі, які маніпулюють фізичним світом — навіть якщо світ — це лише стіл, завалений канцелярським приладдям — є саме тим результатом, на який посилаються обидва керівники, коли стверджують, що темпи прогресу випереджають нагляд.

Підсумок

Сім повністю виконаних завдань із 100 не покладуть робота на ваш стіл завтра. Але перехід від нуля конкурента до семи, із середнім балом прогресу в три рази вищим, є різновидом розриву, який два роки тому перемалював діаграми можливостей розуміння мови. Відкрите питання полягає в тому, чи може та сама модель надійно забезпечити цю компетенцію, поза межами еталона, за ціною, яку готові платити розробники.

Будьте попереду ШІ

Еталонні показники, прориви та гонка за машинами, які діють — слідкуйте щодня.

Читати більше новин AI →