Google DeepMind stellt Genie 4 World Model mit nativem Audio und Echtzeitsteuerung vor

Google DeepMind kündigte am Dienstag Genie 4 an, sein neuestes Weltmodell für interaktive Echtzeitsimulationen, das, wie das Unternehmen es nennt, beispiellosen Realismus und natives Audio in KI-generierte Umgebungen bringt, die Benutzer im Handumdrehen mit natürlicher Sprache steuern können.

Laut der Berichterstattung von TechCrunch im Anschluss an eine Pressekonferenz generiert Genie 4 die fotorealistischsten und interaktivsten Welten, die DeepMind bisher produziert hat. Benutzer können während der Simulation Eingabeaufforderungen eingeben, um eine Szene zu ändern – die Kamera zu bewegen, das Wetter zu ändern oder neue Personen und Objekte vorzustellen –, während das Modell im laufenden Betrieb synchronisierte Audiodaten generiert, einschließlich Umgebungsgeräuschen, Musik und interaktiven Dialogen.

Weltmodelle – KI-Systeme, die interaktive Umgebungen simulieren, anstatt nur Text vorherzusagen oder statische Bilder zu rendern – sind zu einem der umstrittensten Gebiete der KI geworden. Verfolgen Sie die neuesten KI-Modellveröffentlichungen auf AI Buzz Wire, während das Rennen an Fahrt gewinnt.

Basierend auf Gemini, Regie: Gemini

Genie 4 ist eng in die Gemini-Modellfamilie von Google integriert. Laut der Ankündigung von DeepMind verankert Gemini Omni Simulationen im Erscheinungsbild und Verhalten in der realen Welt, während andere Gemini-Modelle die komplexe Argumentation liefern, die erforderlich ist, um eine Simulation über einen längeren Zeitraum hinweg kohärent zu halten.

TechCrunch beschrieb die Architektur als Gemini, der als Regisseur fungiert, Schritte plant und Frames überprüft, während Genie die Visuals erstellt. In einem Forschungsexperiment im Zusammenhang mit Gemini Robotics zerlegte ein Gemini 4 Argon-Modell Aufgaben in Schritte, die Genie 4 dann in Echtzeit simulierte – eine Demonstration, die DeepMind als eine Möglichkeit sieht, Roboterszenarien in Simulationen zu üben, bevor sie in der physischen Welt passieren.

„Was wir in Zukunft zunehmend sehen werden, sind diese hybriden Weltmodelle, bei denen Gemini Code und Text schreibt und Genie diese in Echtzeit aufnimmt und die Realität auf verschiedenen Abstraktionsebenen simuliert“, sagte Tejas Kulkarni, Forschungsdirektor bei Google, laut TechCrunch während eines Briefings.

Doppelte Ausdauer, bessere Physik

Der Generationssprung gegenüber Genie 3 – das vor etwas mehr als einem Jahr als Forschungsvorschau veröffentlicht wurde – ist beträchtlich. Genie 4 kann eine konsistente Szene bis zu zwei Minuten lang aufrechterhalten, verdoppelt das Limit seines Vorgängers und bietet laut TechCrunch eine bessere Physik und menschenähnlichere Charaktere. Es unterstützt auch Freiformbearbeitungen, die zuvor nicht möglich waren, wie z. B. das Ändern von Wetter- oder Kamerawinkeln in Echtzeit oder das Hinzufügen neuer Personen oder Objekte zu einer laufenden Simulation.

Das Modell ist nicht lückenlos. Das Team von DeepMind räumte während des Briefings ein, dass Details und Objekte mit zunehmender Dauer einer Simulation abweichen können und dass das Unternehmen noch nicht herausgefunden hat, wie sichergestellt werden kann, dass die erzeugten Audiodaten korrekt bleiben oder der Text in der Welt lesbar bleibt.

Ein sich konsolidierender Weltmodellmarkt

Genie 4 erscheint, während sich die weltweite Modellindustrie zu konsolidieren beginnt. TechCrunch weist darauf hin, dass die Veröffentlichung einige Monate nach der Veröffentlichung von GWM Worlds 2 durch Runway erfolgt, einem spielbaren Weltmodell mit Audio-Generierung. Unterdessen wird Fei-Fei Lis World Labs von AMD übernommen, Amazon führt Gespräche über den Kauf von Decart und Rivian hat Third Dimension übernommen, um Simulationsfunktionen für selbstfahrende Tests intern bereitzustellen.

Google versucht eindeutig, in diesem überfüllten Feld einen Schritt voraus zu sein – und die Anleger haben es bemerkt. Presseberichten zufolge stiegen die Aktien von Alphabet nach der Enthüllung von Genie 4, die unmittelbar vor der Veröffentlichung des vierteljährlichen Gewinnberichts des Unternehmens am Mittwoch erfolgte, um mehr als 2 %. Der Vorgänger Genie 3 erschütterte die Videospiel-Aktien, als er letztes Jahr auf den Markt kam, da sich die Anleger mit der Annahme auseinandersetzten, dass in Echtzeit generierte Welten irgendwann mit der traditionellen Spieleentwicklung konkurrieren könnten.

Von Gaming über Film-Storyboards bis hin zu Robotik

DeepMind betrachtet die Weltsimulation als einen entscheidenden Schritt in Richtung AGI, der sichere Trainingsumgebungen für Roboter und Agenten ermöglicht. Die vorgestellten kommerziellen Anwendungsfälle umfassen Spiele, interaktives Lernen und Fertigung. Ein spekulatives Beispiel des Unternehmens: Betreten eines Gemäldes mit einer historischen Szene und Gespräch mit den Dargestellten über das dargestellte Ereignis.

Aber frühe Benutzer weisen auf etwas Unerwartetes hin: die Filmvorproduktion. „Der Echtzeitaspekt wird in den Bereichen am wertvollsten, in denen es unglaublich nützlich ist, den Fluss im Kreativitätsbereich aufrechtzuerhalten“, sagte Diego Rivas, ein Google DeepMind-Ingenieur, während der Pressekonferenz laut TechCrunch. „Zum Beispiel in der Ideenfindungsphase, in der Storyboarding-Phase – immer dann, wenn Sie eine schnelle Ideenfindung benötigen.“

Vertrauenswürdige Tester haben Genie 4 bereits für Prototypen von Filmen verwendet, und Rivas schlug vor, dass Benutzer sich schließlich auf Gemini Omni verlassen könnten, um diese Prototypen in fertige kreative Assets umzuwandeln, betonte jedoch, dass diese Funktionen noch in weiter Ferne liegen.

Verfügbarkeit

Genie 4 wird jetzt als Forschungsvorschau für eine begrenzte Gruppe vertrauenswürdiger Tester eingeführt. In den kommenden Wochen wird es Google AI Ultra-Abonnenten über Project Genie – Googles Tool zum Generieren interaktiver Welten aus Text- oder Bildaufforderungen – sowie Early-Access-Partner in der Gemini API und AI Studio erreichen.

Ob Weltmodelle zum nächsten Plattformwechsel werden oder eine beeindruckende Forschungsdemonstration bleiben, Genie 4 macht eines klar: Die Grenze zwischen dem Ansehen von KI-generierten Videos und dem Spielen darin verschwindet.

Bleiben Sie der KI immer einen Schritt voraus

Bleiben Sie über jede Veröffentlichung von Grenzmodellen und Forschungsdurchbrüchen auf dem Laufenden – weitere KI-Neuigkeiten auf AI Buzz Wire lesen.

Hier erhalten Sie die neuesten KI-Entwicklungen.