Google DeepMind heeft dinsdag Genie 4 aangekondigd, het nieuwste wereldmodel voor realtime interactieve simulatie, dat wat het bedrijf ongekend realisme en native audio noemt, naar door AI gegenereerde omgevingen brengt die gebruikers met natuurlijke taal kunnen besturen.

Genie 4 genereert de meest fotorealistische en interactieve werelden die DeepMind tot nu toe heeft geproduceerd, zo blijkt uit berichtgeving van TechCrunch na een persconferentie. Gebruikers kunnen tijdens de simulatie aanwijzingen typen om een ​​scène te veranderen (door de camera te bewegen, het weer te veranderen of nieuwe mensen en objecten te introduceren), terwijl het model direct gesynchroniseerde audio genereert, inclusief omgevingsgeluid, muziek en interactieve dialoog.

Wereldmodellen – AI-systemen die interactieve omgevingen simuleren in plaats van alleen maar tekst te voorspellen of statische afbeeldingen weer te geven – zijn een van de meest omstreden grenzen op het gebied van AI geworden. Volg de nieuwste releases van AI-modellen op AI Buzz Wire terwijl de race versnelt.

Gebouwd op Gemini, geregisseerd door Gemini

Genie 4 is diep geïntegreerd met de Gemini-modelfamilie van Google. Volgens de aankondiging van DeepMind verankert Gemini Omni simulaties in het uiterlijk en gedrag in de echte wereld, terwijl andere Gemini-modellen de complexe redenering bieden die nodig is om een ​​simulatie in de loop van de tijd coherent te houden.

TechCrunch beschreef de architectuur als Gemini die optreedt als regisseur die stappen plant en frames controleert terwijl Genie de beelden maakt. In een onderzoeksexperiment gekoppeld aan Gemini Robotics heeft een Gemini 4 Argon-model taken opgesplitst in stappen die Genie 4 vervolgens in realtime simuleerde - een demonstratie die DeepMind positioneert als een mogelijke manier om robotscenario's in simulatie te oefenen voordat ze in de fysieke wereld plaatsvinden.

"Wat we in de toekomst steeds meer zullen zien zijn deze hybride wereldmodellen, waarbij je een combinatie hebt van Gemini die code en tekst schrijft, en Genie die dat in realtime opneemt en de werkelijkheid op verschillende abstractieniveaus simuleert", zei Tejas Kulkarni, onderzoeksdirecteur bij Google, tijdens een briefing, volgens TechCrunch.

Verdubbel de volharding, betere natuurkunde

De generatiesprong ten opzichte van Genie 3 – iets meer dan een jaar geleden uitgebracht als onderzoeksvoorbeeld – is aanzienlijk. Genie 4 kan een consistente scène tot twee minuten volhouden, verdubbelt de limiet van zijn voorganger en biedt betere fysica en meer menselijke karakters, volgens TechCrunch. Het ondersteunt ook bewerkingen in vrije vorm die voorheen niet mogelijk waren, zoals het in realtime veranderen van weers- of camerahoeken of het toevoegen van nieuwe mensen of objecten aan een lopende simulatie.

Het model is niet zonder gaten. Het team van DeepMind erkende tijdens de briefing dat details en objecten kunnen afwijken naarmate een simulatie langer duurt, en dat het bedrijf nog niet heeft opgelost hoe ervoor kan worden gezorgd dat de gegenereerde audio accuraat blijft of dat tekst in de wereld leesbaar blijft.

Een consoliderende wereldmodelmarkt

Genie 4 arriveert nu de mondiale modelindustrie begint te consolideren. TechCrunch merkt op dat de release een paar maanden komt nadat Runway GWM Worlds 2 lanceerde, een speelbaar wereldmodel met audiogeneratie. Ondertussen wordt Fei-Fei Li's World Labs overgenomen door AMD, is Amazon in gesprek om Decart over te nemen en heeft Rivian Third Dimension overgenomen om simulatiemogelijkheden intern te brengen voor zelfrijdende tests.

Google probeert duidelijk dat drukke veld voor te blijven – en investeerders hebben dat gemerkt. Volgens persberichten stegen de aandelen van Alphabet met meer dan 2% na de onthulling van de Genie 4, die net vóór het kwartaalcijfersrapport van het bedrijf op woensdag belandde. De voorganger Genie 3 deed de videogameaandelen op zijn grondvesten schudden toen het vorig jaar debuteerde, omdat investeerders worstelden met de implicatie dat real-time gegenereerde werelden uiteindelijk zouden kunnen concurreren met traditionele game-ontwikkeling.

Van gaming tot filmstoryboards tot robotica

DeepMind beschouwt wereldsimulatie als een cruciale stap in de richting van AGI, waardoor veilige trainingsomgevingen voor robots en agenten mogelijk worden gemaakt. De commerciële gebruiksscenario's omvatten gaming, interactief leren en productie. Een speculatief voorbeeld van het bedrijf: een schilderij van een historisch tafereel betreden en met de proefpersonen praten over de afgebeelde gebeurtenis.

Maar vroege gebruikers wijzen op iets onverwachts: filmpreproductie. "Het real-time aspect wordt het meest waardevol op de gebieden waar het ongelooflijk nuttig wordt om de flow in de creativiteitsruimte te behouden", zei Diego Rivas, een Google DeepMind-ingenieur, tijdens de persconferentie, per TechCrunch. "Bijvoorbeeld in de ideevormingsfase, in de storyboardfase - wanneer je maar een beetje behoefte hebt aan snelle ideeën."

Vertrouwde testers hebben Genie 4 al gebruikt om prototypes van films te maken, en Rivas suggereerde dat gebruikers uiteindelijk op Gemini Omni zouden kunnen vertrouwen om die prototypes om te zetten in voltooide creatieve middelen, hoewel hij benadrukte dat deze mogelijkheden nog steeds ver weg zijn.

Beschikbaarheid

Genie 4 wordt nu als onderzoekspreview uitgerold naar een beperkte groep vertrouwde testers. In de komende weken zal het Google AI Ultra-abonnees bereiken via Project Genie – de tool van Google voor het genereren van interactieve werelden op basis van tekst- of beeldprompts – evenals early access-partners in de Gemini API en AI Studio.

Of wereldmodellen nu de volgende platformverschuiving worden of een indrukwekkende onderzoeksdemo blijven, Genie 4 maakt één ding duidelijk: de grens tussen het bekijken van door AI gegenereerde video en het afspelen ervan verdwijnt.

Blijf AI een stap voor

Blijf op de hoogte van elke nieuwe release van grensmodellen en onderzoeksdoorbraken – lees meer AI-nieuws op AI Buzz Wire.

Krijg hier de laatste AI-ontwikkelingen.