Google și-a extins gama de TPU de a opta generație cu două noi sisteme specializate: TPU 8i Max, care combină două cipuri de inferență într-un singur pachet pentru sarcini de lucru agentice de lungă durată, și TPU 8tx, construit pentru inferențe confidențiale, izolate de hardware, destinate întreprinderilor reglementate și guvernelor. Tom's Hardware a raportat adăugările joi.

Mișcarea completează o familie pe care Google a început-o în aprilie cu TPU 8t, conceput pentru antrenament AI la scară largă, și TPU 8i, construit pentru activități de inferență de uz general, cum ar fi eșantionarea, servirea și raționamentul. Cu noile variante, gama de generație a opta acoperă acum formarea, inferența standard, inferența securizată și inferența agentică cu lățime de bandă maximă - o matrice de opțiuni care reflectă modul în care întreprinderile folosesc acum hardware-ul AI. Această știre despre cip face parte din acoperirea noastră cele mai recente dezvoltări AI pe piața hardware AI.

Ce fac noile jetoane

TPU 8i Max pune două cipuri 8i într-un singur pachet, dublând lățimea de bandă de calcul, SRAM și memorie cu lățime de bandă mare față de 8i original. Designul vizează munca agentică în context lung - scenarii în care agenții AI desfășoară contexte de lucru foarte mari în sarcini în mai mulți pași.

Tom's Hardware a încadrat dublarea lățimii de bandă ca o modalitate de a ocoli ceea ce Google numește peretele de memorie, blocajul lățimii de bandă care devine acut „când zeci de agenți AI lucrează împreună într-o întreagă bază de cod software”. Ferestre de context mai mari - cu modele mai mari care vizează aproximativ 1 milion de jetoane - înseamnă cache-uri KV mai mari, parțial păstrate în SRAM și fiecare token nou generat trebuie să citească acel cache înapoi din memorie. Dublarea lățimii de bandă HBM într-un singur pachet atacă tocmai acest blocaj, iar publicația a menționat că este o cale diferită de abordarea Nvidia de a asocia un al doilea tip de cip pentru decodare cu un nivel de stocare pentru context.

Între timp, TPU 8tx este construit pe același siliciu ca și modelul 8t anunțat anterior, orientat spre antrenament, dar este configurat pentru calcul confidențial: inferență izolată de hardware pentru întreprinderile reglementate și guvernele care au nevoie de dovezi că datele și modelele lor sunt protejate în timpul procesării. Sistemul schimbă procesoarele gazdă Axion bazate pe Arm utilizate de 8t și 8i cu un procesor AMD EPYC de a 5-a generație și adoptă rețeaua Boardfly de la Google.

În special, Google încă nu a împărtășit specificațiile detaliate, prețurile sau datele de livrare pentru oricare dintre noile sisteme, astfel încât cumpărătorii au în prezent randări și poziționare mai degrabă decât produse care pot fi comandate.

Redările publicate de Google odată cu anunțul arată o placă TPU 8tx care transportă patru cipuri, alături de patru plăci TPU 8i Max, fiecare transportând două cipuri pe un singur pachet - o ilustrare fizică a cât de mult s-a îndepărtat familia din a opta generație de modelul de accelerator cu un singur cip pentru toate generațiile anterioare.

TPU Sync: stratul software pentru memoria agentului

Alături de siliciu, Google se bazează pe software pentru a rezolva problema memoriei agentului. TPU Sync este un „strat de stare model pentru clustere TPU” cu sursă deschisă care plasează automat cache-urile KV masive de pe cip în milisecunde, mutându-le în jos pentru a găzdui DRAM și, experimental, stocare partajată.

Potrivit Google, acest lucru poate reduce latența transferului KV-cache cu mai mult de 90%, cu câștiguri corespunzătoare în timpul până la primul token - întârzierea pe care o experimentează un utilizator înainte ca un sistem AI să înceapă să răspundă. Pentru sarcinile de lucru agentice, în care o singură sesiune poate implica zeci de apeluri de model secvenţiale, fiecare având nevoie de acces la acelaşi context acumulat, managementul cache-ului devine la fel de important ca calculul brut.

De ce este important pentru piața hardware AI

TPU-urile au devenit o afacere în creștere rapidă pentru Google, care revendică aproape 100 de clienți pentru cipuri – inclusiv Meta, a cărei adoptare a TPU-urilor Google în centrele sale de date a marcat una dintre cele mai semnificative incursiuni competitive pe teritoriul Nvidia. Abordarea mai modulară pe care Google o adoptă cu familia de a opta generație, spune compania, îi permite să livreze sisteme specializate „într-o chestiune de luni, mai degrabă decât în ​​ani”, ajutând astfel creșterea clienților.

Momentul anunțului este izbitor. Expansiunea cipului Google a aterizat în aceeași zi în care Nvidia a anunțat că CEO-ul Jensen Huang și-a dat demisia, iar CFO Colette Kress a fost numită CEO interimar – o perturbare extraordinară a conducerii chiar a companiei ale cărei GPU-uri domină piața la care TPU-urile Google o scad. Cele două evenimente nu au nicio legătură, dar împreună subliniază cât de competitivă și cât de volatilă a devenit piața infrastructurii AI.

Pentru întreprinderile care evaluează infrastructura AI, completările semnalează că setul de alegeri se extinde: siliciul optimizat pentru antrenament, inferența generală, inferența securizată pentru date reglementate și pachetele cu lățime de bandă maximă pentru flotele de agenți devin categorii distincte de produse, mai degrabă decât acceleratoare unice. Când Google publică detaliile privind prețurile și disponibilitatea, întrebarea practică pentru cumpărători va fi dacă lățimea de bandă dublată a lui 8i Max se traduce într-un debit suficient pentru flotele agentice pentru a justifica o primă față de implementările standard 8i.

Modularitatea are, de asemenea, o logică pe partea de aprovizionare. În loc să aștepte ani de zile pentru ca un design de ultimă generație să parcurgă întreaga stivă hardware, Google poate recombina siliciul existent - așa cum a făcut prin mutarea siliciului de 8t într-un pachet de inferență securizat cu un procesor gazdă diferit - pentru a ajunge mai repede la segmentele de nișă, păstrând în același timp o stivă software comună pentru toate variantele. Această viteză este în sine o armă competitivă pe o piață în care cerințele clienților se schimbă trimestrial.

---

Rămâneți înaintea AI

Obțineți cele mai recente știri, analize și descoperiri AI - toate într-un singur loc.

Citește mai multe știri AI →