Firma Runway zaprezentowała Solaris, pierwszy model z nowej kategorii, którą firma nazywa „Interface World Models” — systemów sztucznej inteligencji, które generują interfejsy użytkownika na żywo, klatka po klatce, zamiast uruchamiać kod. Zamiast tłumaczyć projekt na aplikację, Solaris sam renderuje interfejs w rozdzielczości 720p i reaguje bezpośrednio na kliknięcia, przeciągnięcia i polecenia głosowe podczas interakcji z nim.
Ogłoszenie, szczegółowo omówione w The Decoder, oznacza ostre odejście od normalnego działania oprogramowania. Obecnie to system operacyjny decyduje o tym, co dzieje się na ekranie, a aplikacja pozostaje taka sama, dopóki programista nie wyśle aktualizacji. Solaris proponuje coś przeciwnego: interfejs, który istnieje tylko tak długo, jak jest generowany i stale dostosowuje się do korzystającej z niego osoby. Więcej kontekstu na ten temat znajdziesz w naszych trendy AI.
Jak działa model świata interfejsu
Solaris opiera się na modelu wideo Gen-4.5 firmy Runway i podąża w kierunku, który firma rozpoczęła od GWM-1, swojego wcześniejszego światowego modelu ogólnego przeznaczenia. Pod maską współpracują dwa systemy: model językowy decyduje o tym, jak powinien zmieniać się interfejs w odpowiedzi na działania użytkownika, natomiast model świata renderuje każdą klatkę.
Rezultat wygląda i zachowuje się jak aplikacja, ale nic nie działa w tradycyjnym tego słowa znaczeniu. Nie ma pliku układu, kodu interfejsu ani skompilowanego pliku binarnego — po prostu model generatywny tworzący następną klatkę na podstawie ostatniego kliknięcia.
Pas startowy przypadków użycia jest prezentowany
Runway wymienia kilka scenariuszy, w których wygenerowany interfejs mógłby zastąpić stały.
W przypadku zakupów online sklep sam w sobie staje się interfejsem. Zamiast przeglądać statyczną siatkę produktów, kupujący może przeciągnąć koszulę na swoje zdjęcie i przymierzyć. Sklep nie byłby już stałym układem, który każdy odwiedzający widzi w ten sam sposób, ale środowiskiem, które dostosowuje się do każdego użytkownika.
W przypadku wizualizacji produktu podstawą jest konwersacyjna manipulacja obiektami: powiedz „przesuń stół” lub „zmień kolor kanapy”, a scena zareaguje natychmiast. Runway widzi to jako pasujące zakupy mebli i planowanie wnętrz, gdzie dostrzeżenie zmiany przewyższa jej wyobrażenie.
Firma wskazuje także na tutoriale i naukę. Zamiast chatbota odpowiadającego SMS-em, Solaris mógłby pokazać kolejny krok wizualnie w kontekście — przykładem firmy jest demonstracja spalania, która zmienia się w zależności od zastosowanych materiałów.
Większe twierdzenie Runwaya: aplikacja znika
Pod demem kryje się prowokacyjna teza. Runway twierdzi, że „aplikacja” jako stała jednostka oprogramowania zniknie. Wykonanie czegoś dzisiaj oznacza otwarcie odpowiedniej, gotowej aplikacji — jednej do robienia zakupów, drugiej do wysyłania wiadomości i jednej do rezerwacji. Jeśli system operacyjny może wygenerować odpowiedni interfejs na żądanie, rozumuje, że istnieje znacznie mniej powodów, aby sortować oprogramowanie w ustalony katalog.
Technologia ta ma drugiego odbiorcę: samych agentów AI. Runway zauważa, że agenci nadal nie radzą sobie z zadaniami takimi jak rezerwacja hoteli, ponieważ są przeszkoleni w zakresie ustalonych układów i potykają się, gdy prawdziwa witryna internetowa odbiega od nich. Agent działający wewnątrz wygenerowanych i rozumianych przez model interfejsów nie byłby w stanie stawić czoła tej kruchości. Runway wyraźnie określa modele świata interfejsów jako poligon szkoleniowy dla agentów.
Haczyki: tekst, niezawodność i dostępność
Na razie poważne problemy utrzymują Solarisa mocno w kolumnie badawczej.
Stabilny, czytelny tekst pozostaje poważnym problemem w przypadku generatywnych modeli wideo — a interfejsy są pełne tekstu. Przyciski, ceny, adresy i pola wyszukiwania zależą od dokładnych ciągów znaków, gdzie halucynacyjna postać jest zepsutym produktem.
Długie sesje i niezawodność to także kwestie otwarte. Dekoder zauważa subtelne, ale poważne ryzyko: wygenerowany interfejs, który jest błędny, ale przekonująco wyglądający, może być gorszy niż żaden interfejs, ponieważ użytkownik nie ma możliwości odróżnienia ceny renderowanej od rzeczywistej.
Dostępność to kolejny nierozwiązany problem. Wygenerowany interfejs nie ma żadnej struktury umożliwiającej odczytanie technologii wspomagających, więc czytniki ekranu — główny sposób, w jaki niewidomi użytkownicy poruszają się po oprogramowaniu — nie mają z czym pracować.
Badania na teraz
Firma Runway nie dostarcza produktu Solaris. Firma poszukuje partnerów do wprowadzenia na rynek i oferuje wczesny dostęp poprzez formularz rejestracyjny, pozycjonując system jako narzędzie do badania tego, jak mogłoby wyglądać oprogramowanie, gdy interfejsy są generowane, a nie programowane.
Termin nie jest przypadkowy. Modele światowe jako kategoria szybko się rozwinęły, a główne laboratoria ścigają się, aby symulować realistyczne środowiska dla robotyki, gier i generowania wideo. Wskazywanie tych samych maszyn na powierzchnie oprogramowania jest naturalnym przedłużeniem, które stawia firmę Runway, najbardziej znaną z narzędzi do generowania wideo używanych przez twórców filmowych, w bezpośredniej konceptualnej konkurencji z establishmentem zajmującym się oprogramowaniem zwiększającym produktywność.
To, czy ktoś rzeczywiście chce interfejsów, które ciągle się zmieniają, jest kwestią, którą Runway pozostawia otwartą. Konwencje oprogramowania — koszyk, pasek wyszukiwania, mechanizm ustawień — istnieją, ponieważ są przewidywalne. Interfejs, który wymyśla się na nowo dla każdego użytkownika, zamienia przewidywalność na rzecz możliwości adaptacji i dopiero okaże się, czy użytkownicy postrzegają to jako magię czy chaos.
Oczywisty jest kierunek podróży. Te same modele świata zbudowane w celu symulacji rzeczywistości fizycznej na potrzeby wideo są obecnie wskazywane na rzeczywistość programową — a Runway obstawia, że kolejny interfejs nie będzie w ogóle projektowany, ale generowany.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
