У вівторок Google DeepMind анонсувала Genie 4, свою новітню світову модель для інтерактивного моделювання в реальному часі, яка привносить те, що компанія називає безпрецедентною реалістичністю та власним аудіо в середовища, створені ШІ, якими користувачі можуть керувати на льоту за допомогою природної мови.

Genie 4 створює найбільш фотореалістичні та інтерактивні світи, створені DeepMind на сьогоднішній день, відповідно до висвітлення TechCrunch після прес-брифінгу. Користувачі можуть вводити підказки під час симуляції, щоб змінити сцену — переміщення камери, зміну погоди або представлення нових людей і об’єктів — тоді як модель генерує синхронізований звук на льоту, включаючи навколишній звук, музику та інтерактивні діалоги.

Світові моделі — системи штучного інтелекту, які імітують інтерактивне середовище, а не просто передбачають текст або рендерять статичні зображення — стали одним із найбільш суперечливих рубежів ШІ. Слідкуйте за останніми випусками моделей штучного інтелекту на AI Buzz Wire, поки гонка прискорюється.

Створено на Gemini, режисер Gemini

Genie 4 глибоко інтегровано з сімейством моделей Gemini від Google. Згідно з оголошенням DeepMind, Gemini Omni прив’язує симуляції до зовнішнього вигляду та поведінки в реальному світі, тоді як інші моделі Gemini забезпечують комплексне обґрунтування, необхідне для збереження узгодженості симуляції з часом.

TechCrunch описав архітектуру як Gemini, який діє як режисер, який планує кроки та перевіряє кадри, а Genie створює візуальні ефекти. У дослідницькому експерименті, пов’язаному з Gemini Robotics, модель Gemini 4 Argon розбивала завдання на кроки, які Genie 4 потім симулював у реальному часі — демонстрація, яку DeepMind позиціонує як можливий спосіб відпрацювати сценарії роботів у симуляції до того, як вони відбудуться у фізичному світі.

«Те, що ми все частіше спостерігатимемо в майбутньому, — це гібридні моделі світу, де у вас є комбінація Gemini, що пише код і текст, і Genie, який поглинає це в режимі реального часу та симулює реальність на різних рівнях абстракції», — сказав під час брифінгу Теджас Кулкарні, директор з досліджень Google, згідно з TechCrunch.

Подвійна наполегливість, краща фізика

Стрибок поколінь у порівнянні з Genie 3, випущеним як дослідницький попередній перегляд трохи більше року тому, є значним. Згідно з TechCrunch, Genie 4 може підтримувати постійну сцену до двох хвилин, подвоївши ліміт свого попередника та пропонує кращу фізику та більш схожих на людей персонажів. Він також підтримує редагування довільної форми, які раніше були неможливі, наприклад, зміна погоди чи ракурсів камери в реальному часі або додавання нових людей чи об’єктів до запущеної симуляції.

Модель не позбавлена ​​прогалин. Команда DeepMind під час брифінгу визнала, що деталі та об’єкти можуть дрейфувати, чим довше триває симуляція, і що компанія ще не вирішила, як забезпечити точність створеного аудіо або щоб текст у світі залишався розбірливим.

Консолідуючий ринок світової моделі

Genie 4 з’являється, коли світова модельна індустрія починає консолідуватися. TechCrunch зазначає, що реліз з’явився через кілька місяців після того, як Runway запустила GWM Worlds 2, ігрову модель світу з генерацією аудіо. Тим часом AMD купує компанію Fei-Fei Li World Labs, Amazon веде переговори про купівлю Decart, а Rivian придбала Third Dimension, щоб надати власні можливості моделювання для тестування самостійного водіння.

Google явно намагається випереджати цю багатолюдну сферу — і інвестори це помітили. У пресі повідомлялося, що акції Alphabet зросли більш ніж на 2% після презентації Genie 4, яка була оприлюднена безпосередньо перед квартальним звітом компанії про прибутки та збитки в середу. Попередник Genie 3 сколихнув акції відеоігор, коли дебютував минулого року, оскільки інвестори боролися з припущенням, що світи, згенеровані в реальному часі, з часом можуть конкурувати з розробкою традиційних ігор.

Від ігор до розкадровок фільмів і робототехніки

DeepMind розглядає симуляцію світу як важливий крок до AGI, створюючи безпечні навчальні середовища для роботів і агентів. Сфери комерційного використання охоплюють ігри, інтерактивне навчання та виробництво. Один спекулятивний приклад від компанії: входити на картину історичної сцени та спілкуватися з її об’єктами про зображену подію.

Але перші користувачі вказують на щось несподіване: попереднє виробництво фільму. «Аспект реального часу стає найбільш цінним у тих сферах, де збереження стану потоку в просторі творчості стає неймовірно корисним», — сказав Дієго Рівас, інженер Google DeepMind, під час прес-брифінгу, згідно з TechCrunch. «Наприклад, на етапі створення ідей, на етапі розкадровки — у будь-який момент, коли вам потрібні швидкі ідеї».

Довірені тестувальники вже використовували Genie 4 для створення прототипів фільмів, і Рівас припустив, що користувачі зрештою можуть покластися на Gemini Omni, щоб перетворити ці прототипи на готові творчі ресурси, хоча він підкреслив, що ці можливості залишаються в далекій перспективі.

Наявність

Genie 4 зараз розгортається в попередній версії для обмеженої групи довірених тестувальників. Найближчими тижнями він охопить передплатників Google AI Ultra через Project Genie — інструмент Google для створення інтерактивних світів із текстових або графічних підказок — а також через партнерів раннього доступу в Gemini API та AI Studio.

Незалежно від того, чи стануть світові моделі наступною зміною платформи чи залишаться вражаючою дослідницькою демонстрацією, Genie 4 чітко пояснює одне: межа між переглядом створеного ШІ відео та відтворенням у ньому зникає.

Будьте попереду ШІ

Будьте в курсі кожного випуску передової моделі та наукового прориву — читайте більше новин AI на AI Buzz Wire.

Отримайте останні розробки ШІ тут.