Google lanceert TPU 8tx en TPU 8i Max, waarmee het aanbod aan AI-chips van de achtste generatie van vier systemen wordt voltooid

Google heeft zijn TPU-portfolio van de achtste generatie uitgebreid met twee nieuwe systemen – TPU 8tx voor veilige, vertrouwelijke gevolgtrekking en TPU 8i Max voor enorme contextvensters – wat de eerste keer is dat het bedrijf vier TPU-systemen in één jaar heeft geleverd.

In een maandag gepubliceerde blogpost zegt Google dat de twee toevoegingen zijn ontworpen voor een werklastprofiel dat nauwelijks bestond toen de eerste TPU tien jaar geleden werd gelanceerd: groepen autonome agenten die over enorme contextvensters redeneren en gevoelige bedrijfsgegevens verwerken. “Nu computers zich verplaatsen van menselijke naar agent-schaal, vragen bedrijven om accelerators die door de enorme contextvensters van AI-modellen heen kunnen redeneren”, schrijft het bedrijf. "Bovendien vragen sommige sterk gereguleerde klanten om gespecialiseerde encryptiemogelijkheden voor unieke workloads." Voor meer context over dit verhaal, zie ons AI-nieuws.

Een systeem voor elke fase van de Agentic-levenscyclus

De achtste generatie begon in april bij Google Cloud Next met TPU 8t, gebouwd voor grootschalige training, en TPU 8i, gebouwd voor realtime redeneren. Google noemde tot 2,7 keer betere trainingsprestaties voor de 8t en 80% betere gevolgtrekkingsprijs-prestaties voor de 8i vergeleken met de vorige generatie.

De twee nieuwkomers verdeelden het resterende grondgebied. Zoals Google het stelt, bieden de vier systemen samen klanten "een speciaal gebouwde versneller voor elke fase van de levenscyclus van agenten": TPU 8t voor opschalingstraining, TPU 8i voor redeneren met lage latentie, TPU 8tx voor vertrouwelijk computergebruik en TPU 8i Max voor enorme contextvensters en de hoogste rekendichtheid per rack.

TPU 8tx: beveiliging ingebouwd in de hardware

TPU 8tx is geoptimaliseerd voor veilige en vertrouwelijke gevolgtrekkingen en is, zo merkt Google op, ook zeer geschikt voor kleinschalige training. De doelgroep is expliciet: gereguleerde ondernemingen en overheden die naast hun meest gevoelige gegevens grens- of bedrijfseigen modellen en autonome agenten gebruiken.

De technische benadering pakt een al lang bestaande spanning op het gebied van veilig computergebruik aan. Gegevens worden normaal gesproken gecodeerd wanneer ze worden opgeslagen of verzonden, maar moeten in het geheugen worden ontgrendeld terwijl een computer ze verwerkt – op het moment dat ze het meest zichtbaar zijn. Gebouwd op hetzelfde silicium als TPU 8t en gecombineerd met 5e generatie AMD EPYC CPU-hosts, bouwt TPU 8tx beveiliging rechtstreeks in de hardwarelaag in, waardoor gevoelige gegevens en modelgewichten beschermd en geïsoleerd blijven, zelfs tijdens actief gebruik.

Het systeem maakt gebruik van hetzelfde 'Boardfly'-netwerk met lage latentie dat Google heeft gemaakt voor realtime redeneren, wat betekent dat het tegelijkertijd rekenkracht op trainingsniveau en snelle gevolgtrekkingen kan verwerken. Google zegt dat organisaties hiermee modellen kunnen verfijnen met privégegevens, grote modellen in kleinere kunnen destilleren en agenten kunnen trainen door middel van versterkend leren op één enkel systeem – zonder gevoelige gegevens tussen afzonderlijke clusters te migreren.

TPU 8i Max: de geheugenmuur aanvallen

TPU 8i Max pakt een andere beperking volledig aan. "Wanneer tientallen AI-agenten samenwerken in een hele softwarecodebase of uren aan video tegelijk, wordt de geheugenbandbreedte snel het knelpunt", schreef Google. Het antwoord van het bedrijf is architectonisch: twee TPU 8i-chips met lage latentie gecombineerd in één pakket.

Het resultaat is een systeem dat rekenkracht en geheugen in lockstep schaalt en dubbele rekenkracht, dubbele SRAM en dubbele HBM-bandbreedte levert dan TPU 8i. En omdat in TPU 8i Max twee keer zoveel silicium past binnen de bestaande rack-voetafdruk, zegt Google dat datacenters aanzienlijk meer rekenkracht per vierkante meter en per watt kunnen inzetten, een zinvolle overweging wanneer stroom en vloeroppervlak de bindende beperkingen zijn voor de uitbreiding van de AI-capaciteit.

Waarom systemen, geen chips

Een belangrijke nuance in de aankondiging van maandag is dat Google deze als nieuwe systemen beschouwt in plaats van als nieuwe chips. Het ontwerpen van een chip, legt het bedrijf uit, is een meerjarig proces van het ontwerpen van miljarden transistors, gebonden aan natuurkundige en productietijdlijnen. Een systeem – hoe rekenkracht, netwerken, opslag en verpakking rond een chip zijn gerangschikt – kan veel sneller worden aangepast.

Die modulariteit vormt de kern van de AI-hypercomputerstrategie van Google, en zorgde ervoor dat vier gespecialiseerde systemen binnen één generatie konden worden geleverd. Google benadrukte ook hoeveel van zijn eigen AI-infrastructuur nu teruggaat naar het bouwen van de hardware: het bedrijf maakt gebruik van het AlphaChip-leersysteem van DeepMind, en zegt dat Gemini nu helpt bij het leveren van chiplay-outs "in uren in plaats van weken." Google noemt dit ‘echt co-design’ en een unieke onderscheidende factor.

De competitieve context

De uitbreiding vindt plaats te midden van toenemende concurrentie op het gebied van AI-versnellers. TPU-implementaties hebben de aandacht getrokken vanwege hun rol bij het bedienen van modellen buiten de eigen muren van Google. Het bedrijf merkt op dat TPU's nu de training en dienstverlening aandrijven voor zijn Gemini-modellen, agentic workloads, Google Cloud-klantenservices en meest recentelijk directe implementaties van TPU's in de eigen datacenters van klanten. Google beschrijft TPU's als 'een snelgroeiend bedrijf'.

De berichtgeving over de aankondiging, inclusief stukken van TechPowerUp en Electronics Weekly, omlijstte de stap in expliciet concurrerende termen: Google breidde zijn op maat gemaakte siliciumaanbod uit omdat het AI-workloads beoogt die anders op NVIDIA-hardware zouden kunnen draaien. NVIDIA van haar kant is doorgegaan met het leveren van opeenvolgende generaties van haar eigen rack-scale-systemen, waardoor kopers van AI-infrastructuur een steeds geloofwaardiger keuze hebben tussen handelaar en op maat gemaakt silicium.

Wat het betekent voor ontwikkelaars

Voor ontwikkelaars ligt de praktische betekenis minder bij één enkele benchmark, maar meer bij de pasvorm. Teams die agentische producten bouwen die zich door lange documenten, grote codebases of uitgebreide videocontext heen worstelen, lopen tegen plafonds aan geheugenbandbreedte aan die ruwe FLOPS niet kunnen oplossen - het probleem waarvoor 8i Max is gebouwd. Teams in de financiële sector, de gezondheidszorg en de overheid die gevoelige werklasten niet naar een gedeelde infrastructuur konden verplaatsen omdat gegevens tijdens de verwerking moesten worden gedecodeerd, beschikken nu over een door hardware ondersteunde optie in 8tx.

Google koppelde het hardwarenieuws aan berichten over softwaretoegankelijkheid, verwijzend naar de recente PyTorch-aankondigingen en het verklaarde doel om TPU's "net zo gebruiksvriendelijk te maken als hardware voor algemene doeleinden". Het bedrijf organiseerde maandag een uitzending waarin de nieuwe systemen gedetailleerd werden beschreven en zei dat klanten de volledige line-up van de infrastructuur op de Google Cloud-website kunnen verkennen.

Blijf AI een stap voor

Aangepast silicium wordt het strategische slagveld van de AI-buildout. Blijf AI een stap voor met AI Buzz Wire – waarin we de aandacht vestigen op AI-hardware, -modellen en de bedrijven die deze bouwen.

Lees meer AI-nieuws →