Google DeepMind a annoncé mardi Genie 4, son tout nouveau modèle mondial de simulation interactive en temps réel, apportant ce que la société appelle un réalisme et un son natif sans précédent aux environnements générés par l'IA que les utilisateurs peuvent piloter à la volée avec un langage naturel.

Genie 4 génère les mondes les plus photoréalistes et interactifs que DeepMind ait produits à ce jour, selon la couverture de TechCrunch suite à un point de presse. Les utilisateurs peuvent saisir des invites en cours de simulation pour changer une scène (déplacer la caméra, changer la météo ou introduire de nouvelles personnes et de nouveaux objets) tandis que le modèle génère un son synchronisé à la volée, y compris un son ambiant, de la musique et un dialogue interactif.

Les modèles mondiaux – des systèmes d’IA qui simulent des environnements interactifs plutôt que de simplement prédire du texte ou restituer des images statiques – sont devenus l’une des frontières les plus contestées de l’IA. Suivez les dernières versions des modèles d'IA sur AI Buzz Wire à mesure que la course s'accélère.

Construit sur Gemini, réalisé par Gemini

Genie 4 est profondément intégré à la famille de modèles Gemini de Google. Selon l'annonce de DeepMind, Gemini Omni ancre les simulations dans l'apparence et le comportement du monde réel, tandis que d'autres modèles Gemini fournissent le raisonnement complexe nécessaire pour maintenir une simulation cohérente dans le temps.

TechCrunch a décrit l'architecture comme Gemini agissant en tant que réalisateur qui planifie les étapes et vérifie les images pendant que Genie crée les visuels. Dans une expérience de recherche liée à Gemini Robotics, un modèle Gemini 4 Argon a décomposé les tâches en étapes que Genie 4 a ensuite simulées en temps réel – une démonstration que DeepMind présente comme un moyen possible de répéter des scénarios de robots en simulation avant qu'ils ne se produisent dans le monde physique.

"Ce que nous verrons de plus en plus à l'avenir, ce sont ces modèles de monde hybrides, dans lesquels Gemini écrit du code et du texte, et Genie les ingère en temps réel et simule la réalité à différents niveaux d'abstraction", a déclaré Tejas Kulkarni, directeur de recherche chez Google, lors d'un briefing, selon TechCrunch.

Doublez la persistance, une meilleure physique

Le saut générationnel par rapport à Genie 3 – publié en avant-première de recherche il y a un peu plus d'un an – est substantiel. Genie 4 peut maintenir une scène cohérente pendant jusqu'à deux minutes, doubler la limite de son prédécesseur et offre une meilleure physique et des personnages plus humains, selon TechCrunch. Il prend également en charge des modifications de forme libre qui n'étaient pas possibles auparavant, telles que la modification de la météo ou des angles de caméra en temps réel ou l'ajout de nouvelles personnes ou objets à une simulation en cours.

Le modèle n'est pas sans lacunes. L'équipe de DeepMind a reconnu lors du briefing que les détails et les objets peuvent dériver à mesure que la simulation dure longtemps, et que la société n'a pas encore trouvé comment garantir la précision de l'audio généré ou la lisibilité du texte dans le monde.

Un marché modèle mondial en consolidation

Genie 4 arrive alors que l'industrie mondiale du modélisme commence à se consolider. TechCrunch note que la sortie intervient quelques mois après le lancement par Runway de GWM Worlds 2, un modèle mondial jouable avec génération audio. Pendant ce temps, World Labs de Fei-Fei Li est racheté par AMD, Amazon est en pourparlers pour acheter Decart et Rivian a acquis Third Dimension pour apporter en interne des capacités de simulation pour les tests de conduite autonome.

Google essaie clairement de garder une longueur d’avance sur ce domaine encombré – et les investisseurs l’ont remarqué. Des articles de presse ont indiqué que les actions d'Alphabet avaient augmenté de plus de 2 % après le dévoilement de Genie 4, qui a eu lieu juste avant le rapport sur les résultats trimestriels de la société mercredi. Le prédécesseur Genie 3 a ébranlé les stocks de jeux vidéo lors de ses débuts l'année dernière, alors que les investisseurs étaient aux prises avec l'implication selon laquelle les mondes générés en temps réel pourraient éventuellement rivaliser avec le développement de jeux traditionnels.

Du jeu aux storyboards de films en passant par la robotique

DeepMind considère la simulation mondiale comme une étape cruciale vers l’AGI, permettant des environnements de formation sûrs pour les robots et les agents. Les cas d'utilisation commerciale proposés couvrent les jeux, l'apprentissage interactif et la fabrication. Un exemple spéculatif de l'entreprise : entrer dans un tableau représentant une scène historique et discuter avec ses sujets de l'événement représenté.

Mais les premiers utilisateurs pointent du doigt un endroit inattendu : la pré-production du film. "L'aspect temps réel devient plus précieux dans les domaines où maintenir un état de flux dans l'espace de créativité devient incroyablement utile", a déclaré Diego Rivas, ingénieur de Google DeepMind, lors de la conférence de presse, selon TechCrunch. "Par exemple, dans la phase d'idéation, dans la phase de storyboard, à chaque fois que vous avez besoin d'une idéation rapide."

Des testeurs de confiance ont déjà utilisé Genie 4 pour prototyper des films, et Rivas a suggéré que les utilisateurs pourraient éventuellement compter sur Gemini Omni pour transformer ces prototypes en actifs créatifs finis, bien qu'il ait souligné que ces capacités restaient encore loin.

Disponibilité

Genie 4 est désormais déployé en avant-première de recherche auprès d'un groupe limité de testeurs de confiance. Dans les semaines à venir, il atteindra les abonnés Google AI Ultra via Project Genie – l'outil de Google permettant de générer des mondes interactifs à partir d'invites de texte ou d'image – ainsi que les partenaires d'accès anticipé à l'API Gemini et à AI Studio.

Que les modèles mondiaux deviennent le prochain changement de plate-forme ou restent une démonstration de recherche impressionnante, Genie 4 montre une chose clairement : la frontière entre regarder une vidéo générée par l'IA et y jouer est en train de disparaître.

Gardez une longueur d'avance sur l'IA

Tenez-vous au courant de chaque sortie de modèle frontière et de chaque avancée en matière de recherche — lire plus d'actualités sur l'IA sur AI Buzz Wire.

Obtenez les derniers développements de l'IA ici.