Runway представила Solaris, першу модель у новій категорії, яку компанія називає «Interface World Models» — системи штучного інтелекту, які генерують користувацькі інтерфейси в реальному часі, кадр за кадром, замість запуску коду. Замість того, щоб перетворювати дизайн у програму, Solaris відтворює сам інтерфейс у форматі 720p і безпосередньо реагує на натискання, перетягування та голосові команди під час взаємодії з ним.

Оголошення, детально висвітлене The Decoder, знаменує різкий відрив від того, як зазвичай працює програмне забезпечення. Сьогодні операційна система вирішує, що відбувається на екрані, і програма залишається незмінною, доки розробник не опублікує оновлення. Solaris пропонує протилежне: інтерфейс, який існує лише до тих пір, поки він генерується, і постійно адаптується до людини, яка його використовує. For more context on this story, see our ongoing AI news.

Як працює модель світу інтерфейсу

Solaris побудовано на відеомоделі Runway Gen-4.5 і слідує напрямку, який компанія розпочала з GWM-1, її попередньою універсальною світовою моделлю. Під капотом дві системи співпрацюють: мовна модель вирішує, як інтерфейс має змінюватися у відповідь на дії користувача, тоді як світова модель рендерить кожен кадр.

Результат виглядає та поводиться як додаток, але нічого не працює в традиційному розумінні. Немає ні файлу макета, ні зовнішнього коду, ні скомпільованого двійкового файлу — лише генеративна модель, яка створює наступний кадр на основі вашого останнього клацання.

Злітно-посадкова смуга сценаріїв використання готується

Runway містить кілька сценаріїв, коли згенерований інтерфейс може замінити фіксований.

В онлайн-магазинах інтерфейсом стає сам магазин. Замість того, щоб переглядати статичну сітку товарів, покупець може перетягнути сорочку на свою фотографію, щоб приміряти її. Магазин більше не буде фіксованим макетом, який бачить кожен відвідувач однаково, а середовищем, яке адаптується до кожного користувача.

Для візуалізації продукту пітч — це розмовне маніпулювання об’єктами: скажіть «пересуньте стіл» або «змініть колір дивана», і сцена реагує миттєво. Runway бачить ці меблі для покупки та планування інтер’єру, де побачити зміни краще, ніж уявити їх.

Компанія також вказує на підручники та навчання. Замість того, щоб чат-бот відповідав текстом, Solaris може показати наступний крок візуально в контексті — прикладом компанії є демонстрація горіння, яка змінюється залежно від використовуваних матеріалів.

Більша претензія Runway: додаток зникає

Під демками — провокативна теза. Runway стверджує, що «додаток» як фіксована одиниця програмного забезпечення зникне. Зробити щось сьогодні означає відкрити готову програму — одну для покупок, одну для повідомлень, одну для бронювання. Якщо операційна система може генерувати правильний інтерфейс на вимогу, міркування стверджують, що набагато менше причин сортувати програмне забезпечення у фіксований каталог.

Існує вторинна аудиторія для технології: самі агенти ШІ. Runway зазначає, що агенти все ще не справляються з такими завданнями, як бронювання готелів, тому що вони навчені фіксованим макетам і спотикаються, коли справжній веб-сайт відхиляється від них. Агент, який працює всередині згенерованих інтерфейсів, зрозумілих моделі, не зіткнеться з такою крихкістю. Runway чітко розглядає Interface World Models як тренувальний майданчик для агентів.

Перешкоди: текст, надійність і доступність

На даний момент значні проблеми тримають Solaris у колонці досліджень.

Стабільний читабельний текст залишається важкою проблемою для генеративних відеомоделей — а інтерфейси переповнені текстом. Кнопки, ціни, адреси та поля пошуку залежать від точних рядків, де галюцинований символ є зламаним продуктом.

Тривалі сесії та надійність також залишаються відкритими питаннями. Декодер зауважує тонкий, але серйозний ризик: згенерований інтерфейс, який є неправильним, але виглядає переконливо, може бути гіршим, ніж відсутність інтерфейсу взагалі, оскільки користувач не може відрізнити відображену ціну від справжньої.

Доступність – ще одна невирішена проблема. Згенерований інтерфейс не має базової структури для допоміжних технологій для читання, тому програми зчитування з екрана — основний спосіб навігації незрячим користувачам у програмному забезпеченні — нема з чим працювати.

Дослідження на даний момент

Runway не постачає Solaris як продукт. Компанія шукає партнерів для запуску та пропонує ранній доступ через форму реєстрації, позиціонуючи систему як дослідження того, як може виглядати програмне забезпечення, коли інтерфейси генеруються, а не програмуються.

Час не випадковий. Світові моделі швидко дозріли як категорія, і великі лабораторії змагаються, щоб симулювати реалістичне середовище для робототехніки, ігор і створення відео. Спрямування тієї самої техніки на поверхні програмного забезпечення є природним розширенням, яке ставить Runway, найбільш відомий інструментами створення відео, які використовуються кінематографістами, у пряму концептуальну конкуренцію з істеблішментом продуктивного програмного забезпечення.

Runway залишає відкритим питання, чи дійсно комусь потрібні інтерфейси, які постійно змінюються. Умовні позначення програмного забезпечення — кошик для покупок, рядок пошуку, інструмент налаштування — існують тому, що вони передбачувані. Інтерфейс, який заново винаходить для кожного користувача, замінює цю передбачуваність на адаптивність, і ще невідомо, чи сприйматимуть користувачі це як магію чи як хаос.

Зрозуміло лише напрямок руху. Ті самі моделі світу, створені для імітації фізичної реальності для відео, тепер спрямовані на програмну реальність — і Runway робить ставку на те, що наступний інтерфейс взагалі не розроблений, а створений.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →