Runway представил Solaris, первую модель в новой категории, которую компания называет «Модели мира интерфейсов» — системы искусственного интеллекта, которые генерируют пользовательские интерфейсы в реальном времени, кадр за кадром, а не запускают код. Вместо того, чтобы воплощать дизайн в приложение, Solaris отображает сам интерфейс в разрешении 720p и напрямую реагирует на щелчки, перетаскивания и голосовые команды при взаимодействии с ним.

Анонс, подробно описанный в The Decoder, знаменует собой резкий отход от того, как обычно работает программное обеспечение. Сегодня операционная система решает, что происходит на экране, и приложение остается неизменным, пока разработчик не выпустит обновление. Solaris предлагает обратное: интерфейс, который существует только до тех пор, пока он создается, и постоянно адаптируется к человеку, использующему его. Подробнее об этой истории — в нашем новости об ИИ.

Как работает модель мира интерфейса

Solaris построен на видеомодели Gen-4.5 от Runway и следует направлению, которое компания начала с GWM-1, своей более ранней универсальной модели мира. Под капотом взаимодействуют две системы: языковая модель решает, как должен меняться интерфейс в ответ на действия пользователя, а модель мира визуализирует каждый кадр.

Результат выглядит и ведет себя как приложение, но в традиционном смысле ничего не работает. Здесь нет ни файла макета, ни внешнего кода, ни скомпилированного двоичного файла — только генеративная модель, создающая следующий кадр на основе вашего последнего клика.

Варианты использования Взлетно-посадочная полоса набирает обороты

Runway перечисляет несколько сценариев, в которых сгенерированный интерфейс может заменить фиксированный.

В онлайн-шопинге интерфейсом становится сам магазин. Вместо просмотра статической сетки товаров покупатель может перетащить рубашку на свою фотографию, чтобы примерить ее. Магазин больше не будет представлять собой фиксированную планировку, которую каждый посетитель видит одинаково, а станет средой, которая адаптируется к каждому пользователю.

Для визуализации продукта питч — это разговорное манипулирование объектами: скажите «переместить стол» или «изменить цвет дивана», и сцена отреагирует мгновенно. Подиум представляет собой покупку подходящей мебели и планирование интерьера, где увидеть перемены лучше, чем представить их.

Компания также указывает на учебные пособия и обучение. Вместо чат-бота, отвечающего текстом, Solaris может показать следующий шаг визуально в контексте — примером компании является демонстрация сгорания, которая меняется в зависимости от используемых материалов.

Большая претензия Runway: приложение исчезает

Под демками скрывается провокационный тезис. Runway утверждает, что «приложение» как фиксированная единица программного обеспечения исчезнет. Чтобы сделать что-то сегодня, нужно открыть подходящее готовое приложение — одно для покупок, одно для сообщений, третье для бронирования. Если операционная система может генерировать правильный интерфейс по требованию, то, рассуждают они, гораздо меньше причин сортировать программное обеспечение в фиксированный каталог.

У этой технологии есть вторичная аудитория: сами агенты ИИ. Runway отмечает, что агенты по-прежнему не справляются с такими задачами, как бронирование отелей, потому что они обучены использовать фиксированные макеты и спотыкаются, когда реальный веб-сайт отклоняется от них. Агент, который работает внутри сгенерированных, понятных модели интерфейсов, не столкнется с такой хрупкостью. Runway явно рассматривает модели мира интерфейса как тренировочную площадку для агентов.

Подвохи: текст, надежность и доступность

На данный момент серьезные проблемы удерживают Solaris в исследовательской колонне.

Стабильный, читаемый текст остается серьезной проблемой для генеративных видеомоделей, а интерфейсы полны текста. Кнопки, цены, адреса и поля поиска — все зависит от точных строк, где галлюцинированный персонаж — это сломанный продукт.

Длительность сеансов и надежность также являются открытыми вопросами. Декодер отмечает тонкий, но серьезный риск: сгенерированный неправильный, но убедительно выглядящий интерфейс может быть хуже, чем полное отсутствие интерфейса, поскольку у пользователя нет возможности отличить визуализированную цену от реальной.

Доступность — еще одна нерешенная проблема. Сгенерированный интерфейс не имеет базовой структуры для чтения вспомогательными технологиями, поэтому программам чтения с экрана — основному способу навигации слепых пользователей по программному обеспечению — не с чем работать.

Исследования сейчас

Runway не поставляет Solaris как продукт. Компания ищет партнеров для запуска и предлагает ранний доступ через форму регистрации, позиционируя систему как исследование того, как может выглядеть программное обеспечение, когда интерфейсы генерируются, а не программируются.

Время выбрано не случайно. Мировые модели быстро развиваются как категория: крупные лаборатории стремятся моделировать реалистичные среды для робототехники, игр и создания видео. Наведение того же оборудования на поверхности программного обеспечения является естественным продолжением, которое ставит Runway, наиболее известную своими инструментами для создания видео, используемыми кинематографистами, в прямую концептуальную конкуренцию истеблишменту, занимающемуся программным обеспечением для повышения производительности.

Нужен ли кому-нибудь на самом деле интерфейс, который постоянно меняется, — вопрос, который Runway оставляет открытым. Условные обозначения программного обеспечения — корзина покупок, панель поиска, механизм настроек — существуют, потому что они предсказуемы. Интерфейс, который заново изобретает себя для каждого пользователя, меняет предсказуемость на адаптивность, и еще неизвестно, воспринимают ли пользователи это как волшебство или как хаос.

Ясно лишь направление движения. Те же самые модели мира, созданные для имитации физической реальности для видео, теперь ориентированы на программную реальность — и Runway делает ставку на то, что следующий интерфейс вообще не проектируется, а генерируется.

---

Будьте в курсе ИИ

Последние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.

Читать больше новостей об ИИ →