Runway は、同社が「インターフェイス ワールド モデル」と呼ぶ新しいカテゴリの最初のモデルである Solaris を発表しました。これは、コードを実行するのではなく、ユーザー インターフェイスをフレームごとにライブで生成する AI システムです。 Solaris は、設計をアプリに変換するのではなく、インターフェイス自体を 720p でレンダリングし、操作時のクリック、ドラッグ、音声コマンドに直接応答します。

The Decoder が詳しく取り上げたこの発表は、ソフトウェアの通常の動作方法からの大きな転換を示しています。現在、画面上で何が起こるかはオペレーティング システムによって決定され、アプリは開発者がアップデートを出荷するまで同じままです。 Solaris はその逆を提案します。つまり、生成されている間のみ存在し、それを使用する人に継続的に適応するインターフェイスです。 この件の詳細は、AIニュースをご覧ください。

インターフェイス ワールド モデルの仕組み

Solaris は Runway の Gen-4.5 ビデオ モデルに基づいて構築されており、同社が初期の汎用ワールド モデルである GWM-1 で始めた方向性に従っています。内部では 2 つのシステムが連携します。言語モデルはユーザーの操作に応じてインターフェイスがどのように変化するかを決定し、ワールド モデルは各フレームをレンダリングします。

結果はアプリのように見え、動作しますが、従来の意味では何も実行されません。レイアウト ファイル、フロントエンド コード、コンパイルされたバイナリはありません。最後のクリックに基づいて次のフレームを生成する生成モデルがあるだけです。

ユースケースの滑走路はピッチングです

Runway には、生成されたインターフェイスが固定インターフェイスを置き換える可能性があるいくつかのシナリオがリストされています。

オンラインショッピングでは店舗自体がインターフェースとなります。買い物客は、静的な商品グリッドを閲覧する代わりに、シャツを自分の写真にドラッグして試着できます。店舗は、すべての訪問者が同じように見る固定的なレイアウトではなく、各ユーザーに適応する環境になります。

製品のビジュアライゼーションでは、「テーブルを移動する」または「ソファの色を変更する」など、会話形式でオブジェクトを操作することが売り文句であり、シーンは即座に反応します。ランウェイでは、変化を想像するよりも変化を見ることが重要な、家具のショッピングやインテリアの計画にぴったりのアイテムを取り上げています。

同社はまた、チュートリアルと学習についても言及しています。チャットボットがテキストで応答する代わりに、Solaris はコンテキストに応じて次のステップを視覚的に示すことができます。同社の例は、関係する材料に応じて変化する燃焼デモンストレーションです。

ランウェイの大きな主張: アプリが消える

デモの根底には挑発的な理論がある。ランウェイは、ソフトウェアの固定単位としての「アプリ」は消滅すると主張する。今日何かを成し遂げるということは、ショッピング用、メッセージ用、予約用など、事前に構築された適切なアプリケーションを開くことを意味します。オペレーティング システムがオンデマンドで適切なインターフェイスを生成できるのであれば、ソフトウェアを固定カタログに分類する理由ははるかに少なくなります。

このテクノロジーには二次的な対象者、つまり AI エージェント自体が存在します。 Runway は、エージェントが固定レイアウトでトレーニングを受けており、実際の Web サイトがレイアウトから逸脱するとつまづいてしまうため、依然としてホテルの予約などのタスクで失敗していると指摘しています。生成され、モデルが理解するインターフェイス内で動作するエージェントは、そのような脆弱性に直面することはありません。 Runway は、インターフェイス ワールド モデルをエージェントの訓練場として明示的に構成します。

欠点: テキスト、信頼性、アクセシビリティ

今のところ、重大な問題により、Solaris は研究分野にしっかりと留まっている。

安定した読みやすいテキストは、生成ビデオ モデルにとって依然として難しい問題であり、インターフェイスはテキストでいっぱいです。ボタン、価格、アドレス、検索フィールドはすべて正確な文字列に依存しており、幻覚のキャラクターは壊れた製品です。

長時間のセッションと信頼性にも未解決の問題があります。 Decoder は、微妙だが深刻なリスクを指摘しています。ユーザーには、表示された価格と実際の価格の違いを見分ける方法がないため、間違っていても説得力のあるように見える生成されたインターフェースは、インターフェースがまったくないよりも悪い可能性があります。

アクセシビリティも未解決の問題です。生成されたインターフェイスには、支援技術が読み取るための基礎的な構造が含まれていないため、視覚障害のあるユーザーがソフトウェアを操作する主な手段であるスクリーン リーダーは何も機能しません。

今のところ調査してください

Runway は Solaris を製品として出荷していません。同社は立ち上げに向けたパートナーを探しており、サインアップフォームを通じて早期アクセスを提供しており、インターフェースがプログラムされるのではなく生成されるときにソフトウェアがどのようなものになるかを探求するシステムとしてこのシステムを位置づけている。

そのタイミングは偶然ではありません。世界のモデルはカテゴリーとして急速に成熟しており、主要な研究所はロボット工学、ゲーム、ビデオ生成のための現実的な環境をシミュレートするために競争しています。同じ機械をソフトウェアの表面に向けることは自然な拡張であり、映画制作者が使用するビデオ生成ツールで最もよく知られている Runway を、生産性ソフトウェアの確立との直接的な概念的競争にさらすことになります。

変化し続けるインターフェイスを実際に望む人がいるかどうかは、Runway が未解決のままにしている問題だ。ソフトウェアの規約 (ショッピング カート、検索バー、設定ギア) は、予測可能であるために存在します。すべてのユーザーに合わせて自らを再発明するインターフェースは、その予測可能性を適応性と引き換えにしますが、ユーザーがそれを魔法と感じるか混乱と感じるかはまだわかりません。

明らかなのは進行方向です。ビデオの物理的現実をシミュレートするために構築された同じ世界モデルが、現在ではソフトウェアの現実にも向けられています。そしてランウェイは、次のインターフェイスはまったく設計されるのではなく、生成されることに賭けています。

---

AIの最新情報をお届け

AIの最新ニュース、分析、ブレイクスルーを一箇所で。

AIニュースをもっと読む →