ทางรันเวย์ได้เปิดตัว Solaris ซึ่งเป็นโมเดลแรกในหมวดหมู่ใหม่ที่บริษัทเรียกว่า "Interface World Models" ซึ่งเป็นระบบ AI ที่สร้างอินเทอร์เฟซผู้ใช้แบบสดๆ ทีละเฟรม แทนที่จะใช้โค้ด แทนที่จะแปลการออกแบบเป็นแอพ Solaris เรนเดอร์อินเทอร์เฟซด้วยความละเอียด 720p และตอบสนองโดยตรงต่อการคลิก การลาก และคำสั่งเสียงเมื่อคุณโต้ตอบกับมัน

การประกาศดังกล่าวซึ่งมีรายละเอียดครอบคลุมโดย The Decoder ถือเป็นการหักล้างวิธีการทำงานของซอฟต์แวร์ตามปกติอย่างชัดเจน ในปัจจุบัน ระบบปฏิบัติการจะเป็นผู้ตัดสินใจว่าจะเกิดอะไรขึ้นบนหน้าจอ และแอพจะยังคงเหมือนเดิมจนกว่านักพัฒนาจะจัดส่งการอัปเดต Solaris เสนอสิ่งที่ตรงกันข้าม: อินเทอร์เฟซที่มีอยู่ตราบใดที่มันถูกสร้างขึ้นและปรับให้เข้ากับบุคคลที่ใช้งานอย่างต่อเนื่อง For more context on this story, see our ongoing breaking AI news.

วิธีการทำงานของโมเดลโลกของอินเทอร์เฟซ

Solaris สร้างขึ้นจากโมเดลวิดีโอ Gen-4.5 ของ Runway และเป็นไปตามทิศทางที่บริษัทเริ่มต้นด้วย GWM-1 ซึ่งเป็นโมเดลสำหรับใช้งานทั่วไปรุ่นก่อนหน้านี้ ภายใต้ประทุน สองระบบทำงานร่วมกัน: โมเดลภาษาจะตัดสินใจว่าอินเทอร์เฟซควรเปลี่ยนแปลงอย่างไรเพื่อตอบสนองต่อสิ่งที่ผู้ใช้ทำ ในขณะที่โมเดลโลกจะเรนเดอร์แต่ละเฟรม

ผลลัพธ์มีลักษณะและทำงานเหมือนกับแอป แต่ไม่มีสิ่งใดทำงานในลักษณะดั้งเดิม ไม่มีไฟล์เลย์เอาต์ ไม่มีโค้ดส่วนหน้า ไม่มีไบนารีที่คอมไพล์ — เป็นเพียงโมเดลกำเนิดที่สร้างเฟรมถัดไปตามคลิกสุดท้ายของคุณ

รันเวย์กรณีการใช้งานกำลังขว้าง

ทางวิ่งแสดงรายการหลายสถานการณ์ที่อินเทอร์เฟซที่สร้างขึ้นสามารถแทนที่อินเทอร์เฟซที่ตายตัวได้

ในการช้อปปิ้งออนไลน์ ตัวร้านเองจะกลายเป็นอินเทอร์เฟซ แทนที่จะเรียกดูตารางผลิตภัณฑ์แบบคงที่ นักช้อปสามารถลากเสื้อเชิ้ตลงบนภาพของตัวเองเพื่อลองสวมได้ ร้านค้าจะไม่ใช่รูปแบบตายตัวที่ผู้เข้าชมทุกคนมองเห็นในลักษณะเดียวกันอีกต่อไป แต่เป็นสภาพแวดล้อมที่ปรับให้เข้ากับผู้ใช้แต่ละคน

สำหรับการแสดงภาพผลิตภัณฑ์ ระดับเสียงคือการจัดการบทสนทนากับวัตถุ เช่น พูดว่า "ย้ายโต๊ะ" หรือ "เปลี่ยนสีโซฟา" จากนั้นฉากจะตอบสนองทันที รันเวย์มองเห็นการซื้อเฟอร์นิเจอร์และการวางแผนภายในที่เหมาะสม ซึ่งการได้เห็นการเปลี่ยนแปลงนั้นเต้นเกินกว่าจะจินตนาการได้

บริษัทยังชี้ไปที่บทช่วยสอนและการเรียนรู้ด้วย แทนที่จะใช้แชทบอทตอบด้วยข้อความ Solaris สามารถแสดงขั้นตอนถัดไปด้วยภาพในบริบท ตัวอย่างของบริษัทคือการสาธิตการเผาไหม้ที่เปลี่ยนแปลงขึ้นอยู่กับวัสดุที่เกี่ยวข้อง

คำกล่าวอ้างที่ใหญ่กว่าของรันเวย์: แอปหายไป

ข้างใต้การสาธิตเป็นวิทยานิพนธ์ที่เร้าใจ รันเวย์ให้เหตุผลว่า "แอป" ซึ่งเป็นหน่วยซอฟต์แวร์คงที่จะหายไป การทำบางสิ่งบางอย่างให้เสร็จสิ้นในวันนี้หมายถึงการเปิดแอปพลิเคชันที่สร้างไว้ล่วงหน้าที่เหมาะสม — แอปพลิเคชันหนึ่งสำหรับการช็อปปิ้ง แอปพลิเคชันหนึ่งสำหรับการส่งข้อความ แอปพลิเคชันหนึ่งสำหรับการจอง หากระบบปฏิบัติการสามารถสร้างอินเทอร์เฟซที่เหมาะสมตามความต้องการได้ ก็มีเหตุผลน้อยกว่ามากในการจัดเรียงซอฟต์แวร์ลงในแค็ตตาล็อกคงที่

มีผู้ชมรองสำหรับเทคโนโลยี: ตัวแทน AI เอง ทางรันเวย์ตั้งข้อสังเกตว่าตัวแทนยังคงล้มเหลวในงานต่างๆ เช่น การจองโรงแรม เพราะพวกเขาได้รับการฝึกฝนเกี่ยวกับเลย์เอาต์ที่ตายตัว และสะดุดเมื่อเว็บไซต์จริงเบี่ยงเบนไปจากพวกเขา เอเจนต์ที่ทำงานภายในอินเทอร์เฟซที่สร้างขึ้นและเข้าใจโมเดลจะไม่เผชิญกับความเปราะบางดังกล่าว ทางรันเวย์กำหนดกรอบ Interface World Models ไว้อย่างชัดเจนว่าเป็นพื้นที่ฝึกอบรมสำหรับตัวแทน

สิ่งที่จับได้: ข้อความ ความน่าเชื่อถือ และการเข้าถึง

ในตอนนี้ ปัญหาสำคัญทำให้ Solaris อยู่ในคอลัมน์การวิจัยอย่างมั่นคง

ข้อความที่เสถียรและอ่านง่ายยังคงเป็นปัญหาหนักสำหรับโมเดลวิดีโอทั่วไป และอินเทอร์เฟซเต็มไปด้วยข้อความ ปุ่ม ราคา ที่อยู่ และช่องค้นหาทั้งหมดขึ้นอยู่กับสตริงที่แน่นอน โดยที่ตัวละครที่หลอนคือสินค้าที่เสียหาย

เซสชันที่ยาวนานและความน่าเชื่อถือก็เป็นคำถามเปิดเช่นกัน ตัวถอดรหัสบันทึกความเสี่ยงที่ละเอียดอ่อนแต่ร้ายแรง: อินเทอร์เฟซที่สร้างขึ้นที่ผิดแต่ดูน่าเชื่ออาจเลวร้ายยิ่งกว่าไม่มีอินเทอร์เฟซเลย เนื่องจากผู้ใช้ไม่มีทางบอกความแตกต่างระหว่างราคาที่แสดงผลกับราคาจริงได้

การเข้าถึงเป็นอีกปัญหาที่ยังไม่ได้รับการแก้ไข อินเทอร์เฟซที่สร้างขึ้นไม่มีโครงสร้างพื้นฐานสำหรับเทคโนโลยีอำนวยความสะดวกในการอ่าน ดังนั้นโปรแกรมอ่านหน้าจอซึ่งเป็นวิธีหลักที่ผู้ใช้ตาบอดใช้งานซอฟต์แวร์จึงไม่มีอะไรต้องใช้งาน

วิจัยตอนนี้

ทางรันเวย์ไม่ได้จัดส่ง Solaris เป็นผลิตภัณฑ์ บริษัทกำลังมองหาพันธมิตรสำหรับการเปิดตัว และเสนอการเข้าถึงก่อนใครผ่านแบบฟอร์มลงทะเบียน โดยวางตำแหน่งระบบเป็นการสำรวจว่าซอฟต์แวร์จะมีลักษณะอย่างไรเมื่อมีการสร้างอินเทอร์เฟซแทนที่จะตั้งโปรแกรมไว้

เวลาไม่ใช่เรื่องบังเอิญ โมเดลระดับโลกเติบโตอย่างรวดเร็วตามหมวดหมู่ โดยห้องปฏิบัติการหลัก ๆ ต่างแข่งขันกันเพื่อจำลองสภาพแวดล้อมที่สมจริงสำหรับหุ่นยนต์ เกม และวิดีโอ การชี้ให้เห็นว่าเครื่องจักรแบบเดียวกันบนพื้นผิวซอฟต์แวร์นั้นเป็นส่วนขยายตามธรรมชาติ และสิ่งหนึ่งที่ทำให้ Runway ซึ่งเป็นที่รู้จักเป็นอย่างดีในด้านเครื่องมือสร้างวิดีโอที่ผู้สร้างภาพยนตร์ใช้ เข้าสู่การแข่งขันทางแนวคิดโดยตรงกับการสร้างซอฟต์แวร์เพิ่มประสิทธิภาพการทำงาน

ไม่ว่าใครก็ตามที่ต้องการอินเทอร์เฟซที่เปลี่ยนแปลงอยู่ตลอดเวลานั้นเป็นคำถามที่รันเวย์เปิดทิ้งไว้ แบบแผนของซอฟต์แวร์ เช่น ตะกร้าสินค้า แถบค้นหา อุปกรณ์การตั้งค่า มีอยู่เนื่องจากสามารถคาดเดาได้ อินเทอร์เฟซที่สร้างขึ้นใหม่สำหรับผู้ใช้ทุกคนต้องแลกกับความสามารถในการคาดการณ์และความสามารถในการปรับตัว และจะต้องคอยติดตามว่าผู้ใช้จะประสบกับสิ่งมหัศจรรย์หรือความสับสนวุ่นวาย

ที่ชัดเจนคือทิศทางการเดินทาง โมเดลโลกเดียวกันที่สร้างขึ้นเพื่อจำลองความเป็นจริงทางกายภาพสำหรับวิดีโอกำลังถูกชี้ไปที่ความเป็นจริงของซอฟต์แวร์ และรันเวย์กำลังเดิมพันว่าอินเทอร์เฟซถัดไปไม่ได้ออกแบบเลย แต่สร้างขึ้น

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →