Google DeepMind dezvăluie modelul Genie 4 World cu sunet nativ și direcție în timp real

Google DeepMind a anunțat marți Genie 4, cel mai nou model mondial pentru simulare interactivă în timp real, aducând ceea ce compania numește realism fără precedent și audio nativ în medii generate de AI pe care utilizatorii le pot conduce din mers cu limbaj natural.

Genie 4 generează cele mai fotorealiste și interactive lumi pe care DeepMind le-a produs până în prezent, conform acoperirii de la TechCrunch în urma unui briefing de presă. Utilizatorii pot introduce solicitări la mijlocul simulării pentru a schimba o scenă - mișcarea camerei, schimbarea vremii sau introducerea de oameni și obiecte noi - în timp ce modelul generează sunet sincronizat din mers, inclusiv sunet ambiental, muzică și dialog interactiv.

Modelele mondiale – sistemele AI care simulează medii interactive, mai degrabă decât doar prezice text sau redă imagini statice – au devenit una dintre cele mai contestate frontiere ale AI. Urmărește cele mai recente lansări de modele AI pe AI Buzz Wire pe măsură ce cursa accelerează.

Construit pe Gemeni, Regizat de Gemeni

Genie 4 este profund integrat cu familia de modele Google Gemini. Conform anunțului DeepMind, Gemini Omni ancorează simulările în aspectul și comportamentul din lumea reală, în timp ce alte modele Gemini oferă raționamentul complex necesar pentru a menține o simulare coerentă în timp.

TechCrunch a descris arhitectura ca Gemeni acționând ca un regizor care planifică pașii și verifică cadrele în timp ce Genie creează imaginile. Într-un experiment de cercetare legat de Gemini Robotics, un model Gemini 4 Argon a împărțit sarcinile în pași pe care Genie 4 i-a simulat apoi în timp real - o demonstrație DeepMind poziționează ca o modalitate posibilă de a repeta scenariile robotului în simulare înainte ca acestea să se întâmple în lumea fizică.

„Ceea ce vom vedea din ce în ce mai mult în viitor sunt aceste modele de lumi hibride, în care aveți o combinație de coduri de scris și text din Gemeni, iar Genie care le ingerează în timp real și simulează realitatea la diferite niveluri de abstractizare”, a declarat Tejas Kulkarni, director de cercetare la Google, în timpul unei conferințe, potrivit TechCrunch.

Dubla persistența, o fizică mai bună

Saltul generațional peste Genie 3 – lansat ca o previzualizare a cercetării cu puțin peste un an în urmă – este substanțial. Genie 4 poate menține o scenă constantă timp de până la două minute, dublează limita predecesorului său și oferă o fizică mai bună și personaje mai asemănătoare oamenilor, conform TechCrunch. De asemenea, acceptă modificări în formă liberă care nu erau posibile înainte, cum ar fi schimbarea vremii sau a unghiurilor camerei în timp real sau adăugarea de noi persoane sau obiecte la o simulare de rulare.

Modelul nu este lipsit de goluri. Echipa DeepMind a recunoscut în timpul briefing-ului că detaliile și obiectele se pot deplasa cu cât o simulare rulează mai mult și că compania nu a rezolvat încă cum să se asigure că sunetul generat rămâne exact sau că textul din lume rămâne lizibil.

O piață mondială model în consolidare

Genie 4 apare pe măsură ce industria mondială a modelelor începe să se consolideze. TechCrunch notează că lansarea vine la câteva luni după ce Runway a lansat GWM Worlds 2, un model mondial care poate fi redat cu generare audio. Între timp, Fei-Fei Li's World Labs este achiziționată de AMD, Amazon este în discuții pentru a cumpăra Decart, iar Rivian a achiziționat Third Dimension pentru a aduce capabilități de simulare interne pentru testarea auto-condusului.

Google încearcă în mod clar să rămână în fruntea acestui domeniu aglomerat – iar investitorii au observat. Rapoartele de presă au remarcat că acțiunile Alphabet au crescut cu mai mult de 2% după dezvăluirea Genie 4, care a aterizat chiar înaintea raportului trimestrial al companiei privind câștigurile de miercuri. Predecesorul Genie 3 a zguduit acțiunile de jocuri video când a debutat anul trecut, în timp ce investitorii s-au confruntat cu implicația că lumi generate în timp real ar putea concura în cele din urmă cu dezvoltarea jocurilor tradiționale.

De la jocuri la scenarii de film la robotică

DeepMind încadrează simularea lumii ca un pas crucial către AGI, permițând medii sigure de antrenament pentru roboți și agenți. Cazurile de utilizare comerciale prezentate acoperă jocuri, învățare interactivă și producție. Un exemplu speculativ din partea companiei: intrarea într-o pictură a unei scene istorice și discuția cu subiecții ei despre evenimentul portretizat.

Dar primii utilizatori indică un loc neașteptat: pre-producția filmului. „Aspectul în timp real devine cel mai valoros în zonele în care menținerea unei stări de flux în spațiul creativității devine incredibil de utilă”, a declarat Diego Rivas, inginer Google DeepMind, în timpul briefing-ului de presă, conform TechCrunch. „De exemplu, în faza de ideare, în faza de scenariu – oricând ai nevoie de o idee rapidă.”

Testerii de încredere au folosit deja Genie 4 pentru a prototipa filme, iar Rivas a sugerat că utilizatorii se pot baza în cele din urmă pe Gemini Omni pentru a transforma acele prototipuri în active creative, deși el a subliniat că aceste capacități rămân departe.

Disponibilitate

Genie 4 se lansează acum în previzualizarea cercetării pentru un grup limitat de testeri de încredere. În următoarele săptămâni, va ajunge la abonații Google AI Ultra prin Project Genie – instrumentul Google pentru generarea de lumi interactive din mesaje text sau imagini – precum și partenerii de acces timpuriu în Gemini API și AI Studio.

Indiferent dacă modelele lumii devin următoarea schimbare de platformă sau rămân un demo de cercetare impresionant, Genie 4 clarifică un lucru: linia dintre vizionarea videoclipurilor generate de AI și redarea în interiorul acestuia dispare.

Rămâi înaintea AI

Fii la curent cu fiecare lansare de model de frontieră și descoperire în cercetare — citește mai multe știri despre AI pe AI Buzz Wire.

Obțineți cele mai recente dezvoltări AI aici.