Google heeft zijn TPU-serie van de achtste generatie uitgebreid met twee nieuwe gespecialiseerde systemen: TPU 8i Max, die twee inferentiechips combineert in één pakket voor agentische workloads met lange context, en TPU 8tx, gebouwd voor vertrouwelijke, hardware-geïsoleerde inferentie gericht op gereguleerde bedrijven en overheden. Tom's Hardware maakte de toevoegingen donderdag bekend.

Deze stap rondt een familie af die Google in april begon met de TPU 8t, ontworpen voor grootschalige AI-training, en de TPU 8i, gebouwd voor algemeen gevolgtrekkingswerk zoals sampling, serveren en redeneren. Met de nieuwe varianten omvat de line-up van de achtste generatie nu training, standaardinferentie, veilige inferentie en agentische inferentie met maximale bandbreedte – een matrix van opties die weergeeft hoe verschillend bedrijven nu AI-hardware gebruiken. Dit chipnieuws maakt deel uit van onze nieuwste AI-ontwikkelingen over de AI-hardwaremarkt.

Wat de nieuwe chips doen

TPU 8i Max plaatst twee 8i-chips in één pakket, waardoor de rekenkracht, SRAM en geheugenbandbreedte met hoge bandbreedte van de originele 8i worden verdubbeld. Het ontwerp is gericht op werk van agenten met een lange context: scenario's waarin AI-agenten zeer grote werkcontexten over taken met meerdere stappen heen dragen.

Tom's Hardware omschreef de verdubbeling van de bandbreedte als een manier om wat Google de geheugenmuur noemt, het bandbreedteknelpunt dat acuut wordt "wanneer tientallen AI-agenten samenwerken in een hele softwarecodebasis." Grotere contextvensters – met grotere modellen die zich richten op ongeveer 1 miljoen tokens – betekenen grotere KV-caches, gedeeltelijk opgeslagen in SRAM, en elk nieuw gegenereerd token moet die cache terug uit het geheugen lezen. Het verdubbelen van de HBM-bandbreedte in een enkel pakket pakt precies dat knelpunt aan, en in de publicatie wordt opgemerkt dat dit een andere route is dan Nvidia's aanpak om een ​​tweede chiptype voor decodering te koppelen aan een opslaglaag voor context.

TPU 8tx is ondertussen gebouwd op hetzelfde silicium als de eerder aangekondigde trainingsgerichte 8t, maar is geconfigureerd voor vertrouwelijk computergebruik: hardware-geïsoleerde gevolgtrekking voor gereguleerde bedrijven en overheden die bewijs nodig hebben dat hun gegevens en modellen tijdens de verwerking worden beschermd. Het systeem verwisselt de Arm-gebaseerde Axion-host-CPU's die door de 8t en 8i worden gebruikt voor een 5e generatie AMD EPYC-processor en maakt gebruik van Google's Boardfly-netwerken.

Opvallend is dat Google nog geen gedetailleerde specificaties, prijzen of verzenddatums voor beide nieuwe systemen heeft gedeeld, zodat kopers momenteel weergaven en positionering hebben in plaats van bestelbare producten.

Renderings die Google naast de aankondiging publiceerde, tonen een TPU 8tx-bord met vier chips, naast vier TPU 8i Max-borden, elk met twee chips in één enkele verpakking – een fysieke illustratie van hoe ver de familie van de achtste generatie is afgeweken van het one-chip-fits-all acceleratormodel van eerdere generaties.

TPU Sync: de softwarelaag voor agentgeheugen

Naast het silicium leunt Google op software om het agentgeheugenprobleem op te lossen. TPU Sync is een open-source "modelstatuslaag voor TPU-clusters" die automatisch enorme KV-caches in milliseconden van de chip verwijdert en deze naar beneden verplaatst om DRAM en, experimenteel, gedeelde opslag te hosten.

Volgens Google kan dit de latentie van de KV-cache-overdracht met meer dan 90% verminderen, met overeenkomstige winst in de time-to-first-token – de vertraging die een gebruiker ervaart voordat een AI-systeem begint te reageren. Voor agentische workloads, waarbij een enkele sessie tientallen sequentiële modelaanroepen kan omvatten die elk toegang nodig hebben tot dezelfde verzamelde context, wordt cachebeheer net zo belangrijk als onbewerkte rekenkracht.

Waarom het belangrijk is voor de AI-hardwaremarkt

TPU's zijn een snelgroeiend bedrijf geworden voor Google, dat bijna 100 klanten claimt voor de chips - waaronder Meta, wiens adoptie van Google TPU's in zijn datacenters een van de belangrijkste concurrentieaanvallen op het grondgebied van Nvidia markeerde. De meer modulaire aanpak die Google volgt met de achtste-generatiefamilie, zegt het bedrijf, stelt het bedrijf in staat gespecialiseerde systemen te leveren "binnen een kwestie van maanden in plaats van jaren", waardoor de groei van het aantal klanten wordt bevorderd.

De timing van de aankondiging is opvallend. De chipuitbreiding van Google vond plaats op dezelfde dag dat Nvidia aankondigde dat CEO Jensen Huang is afgetreden, waarbij CFO Colette Kress is benoemd tot interim-CEO – een buitengewone leiderschapsverstoring bij het bedrijf waarvan de GPU's de markt domineren waar Google's TPU's aan het bezuinigen zijn. De twee gebeurtenissen hebben qua oorzaak niets met elkaar te maken, maar samen onderstrepen ze hoe competitief en hoe volatiel de AI-infrastructuurmarkt is geworden.

Voor bedrijven die de AI-infrastructuur evalueren, geven de toevoegingen aan dat de keuzemogelijkheden groter worden: voor training geoptimaliseerd silicium, algemene inferentie, veilige inferentie voor gereguleerde data en pakketten met maximale bandbreedte voor agentvloten worden aparte productcategorieën in plaats van one-size-fits-all accelerators. Wanneer Google prijs- en beschikbaarheidsgegevens publiceert, zal de praktische vraag voor kopers zijn of de verdubbelde bandbreedte van de 8i Max zich vertaalt in voldoende doorvoer voor agentschappen om een ​​premie ten opzichte van standaard 8i-implementaties te rechtvaardigen.

De modulariteit kent ook een logica aan de aanbodzijde. In plaats van jaren te wachten totdat een ontwerp van de volgende generatie de volledige hardware-stack heeft doorlopen, kan Google bestaand silicium opnieuw combineren – zoals het deed door 8t-silicium te verplaatsen naar een pakket met veilige inferentie met een andere host-CPU – om nichesegmenten sneller te bereiken, terwijl voor alle varianten een gemeenschappelijke software-stack behouden blijft. Die snelheid is op zichzelf al een concurrentiewapen in een markt waar de eisen van klanten elk kwartaal veranderen.

---

Blijf AI een stap voor

Ontvang het laatste AI-nieuws, analyses en doorbraken – allemaal op één plek.

Lees meer AI-nieuws →