Google hat sein TPU-Sortiment der achten Generation um zwei neue Spezialsysteme erweitert: TPU 8i Max, das zwei Inferenzchips in einem einzigen Paket für Agenten-Workloads mit langem Kontext vereint, und TPU 8tx, das für vertrauliche, hardwareisolierte Inferenz für regulierte Unternehmen und Regierungen entwickelt wurde. Tom's Hardware meldete die Ergänzungen am Donnerstag.

Der Schritt rundet eine Familie ab, die Google im April mit dem TPU 8t, das für groß angelegte KI-Trainings entwickelt wurde, und dem TPU 8i, das für allgemeine Inferenzaufgaben wie Sampling, Serving und Reasoning entwickelt wurde, ins Leben gerufen hat. Mit den neuen Varianten deckt die Produktpalette der achten Generation nun Training, Standard-Inferenz, sichere Inferenz und Agenten-Inferenz mit maximaler Bandbreite ab – eine Optionsmatrix, die widerspiegelt, wie unterschiedlich Unternehmen KI-Hardware mittlerweile nutzen. Diese Chip-News sind Teil unserer neuesten KI-Entwicklungen Berichterstattung über den KI-Hardware-Markt.

Was die neuen Chips bewirken

Der TPU 8i Max vereint zwei 8i-Chips in einem Gehäuse und verdoppelt so die Rechen-, SRAM- und High-Bandwidth-Speicherbandbreite des ursprünglichen 8i. Das Design zielt auf die Arbeit von Agenten mit langen Kontexten ab – Szenarien, in denen KI-Agenten sehr große Arbeitskontexte über mehrstufige Aufgaben übertragen.

Tom's Hardware betrachtete die Bandbreitenverdoppelung als eine Möglichkeit, das zu umgehen, was Google als Memory Wall bezeichnet, den Bandbreitenengpass, der akut wird, „wenn Dutzende von KI-Agenten über eine gesamte Software-Codebasis hinweg zusammenarbeiten“. Größere Kontextfenster – wobei größere Modelle auf etwa 1 Million Token abzielen – bedeuten größere KV-Caches, die teilweise im SRAM gespeichert sind, und jeder neu generierte Token muss diesen Cache aus dem Speicher zurücklesen. Durch die Verdoppelung der HBM-Bandbreite in einem einzigen Paket wird genau dieser Engpass angegangen, und in der Veröffentlichung wird darauf hingewiesen, dass dies ein anderer Weg ist als Nvidias Ansatz, einen zweiten Chiptyp für die Dekodierung mit einer Speicherebene für den Kontext zu koppeln.

TPU 8tx hingegen basiert auf dem gleichen Silizium wie das zuvor angekündigte, auf Schulungen ausgerichtete 8t, ist jedoch für vertrauliches Computing konfiguriert: Hardware-isolierte Schlussfolgerung für regulierte Unternehmen und Regierungen, die den Nachweis benötigen, dass ihre Daten und Modelle während der Verarbeitung geschützt sind. Das System tauscht die Arm-basierten Axion-Host-CPUs, die vom 8t und 8i verwendet werden, gegen einen AMD EPYC-Prozessor der 5. Generation aus und übernimmt das Boardfly-Netzwerk von Google.

Bemerkenswert ist, dass Google noch keine detaillierten Spezifikationen, Preise oder Versanddaten für eines der neuen Systeme bekannt gegeben hat, sodass Käufer derzeit eher Darstellungen und Positionierungen als bestellbare Produkte haben.

Renderings, die Google zusammen mit der Ankündigung veröffentlichte, zeigen ein TPU 8tx-Board mit vier Chips sowie vier TPU 8i Max-Boards, die jeweils zwei Chips in einem einzigen Gehäuse tragen – ein physisches Beispiel dafür, wie weit sich die Familie der achten Generation vom Ein-Chip-für-alle-Beschleunigermodell früherer Generationen entfernt hat.

TPU Sync: die Softwareschicht für den Agentenspeicher

Neben dem Silizium setzt Google auf Software, um das Agent-Speicherproblem zu lösen. TPU Sync ist eine Open-Source-„Modellzustandsschicht für TPU-Cluster“, die in Millisekunden automatisch riesige KV-Caches vom Chip ablagert und sie nach unten in den Host-DRAM und, versuchsweise, in den gemeinsam genutzten Speicher verschiebt.

Laut Google kann dadurch die Latenzzeit bei der KV-Cache-Übertragung um mehr als 90 % verkürzt werden, was zu einer entsprechenden Verkürzung der Zeit bis zum ersten Token führt – der Verzögerung, die ein Benutzer erfährt, bevor ein KI-System zu reagieren beginnt. Bei Agenten-Workloads, bei denen eine einzelne Sitzung Dutzende sequenzieller Modellaufrufe umfassen kann, die jeweils Zugriff auf denselben akkumulierten Kontext benötigen, wird die Cache-Verwaltung genauso wichtig wie die Rohdatenverarbeitung.

Warum es für den KI-Hardwaremarkt wichtig ist

TPUs haben sich zu einem schnell wachsenden Geschäft für Google entwickelt, das fast 100 Kunden für die Chips hat – darunter Meta, dessen Einführung von Google TPUs in seinen Rechenzentren einen der bedeutendsten Wettbewerbseinbrüche in Nvidias Markt markierte. Der modularere Ansatz, den Google bei der Familie der achten Generation verfolgt, ermöglicht es dem Unternehmen, spezialisierte Systeme „in wenigen Monaten statt Jahren“ bereitzustellen und so das Kundenwachstum voranzutreiben.

Der Zeitpunkt der Ankündigung ist auffällig. Die Chip-Expansion von Google erfolgte am selben Tag, an dem Nvidia bekannt gab, dass CEO Jensen Huang zurückgetreten ist und CFO Colette Kress zum Interims-CEO ernannt wurde – ein außergewöhnlicher Führungswechsel bei genau dem Unternehmen, dessen GPUs den Markt dominieren, an dem die TPUs von Google scheitern. Die beiden Ereignisse haben zwar nichts miteinander zu tun, aber zusammen unterstreichen sie, wie wettbewerbsintensiv und volatil der KI-Infrastrukturmarkt geworden ist.

Für Unternehmen, die eine KI-Infrastruktur evaluieren, signalisieren die Ergänzungen, dass die Auswahl erweitert wird: Trainingsoptimierter Silizium, allgemeine Inferenz, sichere Inferenz für regulierte Daten und Pakete mit maximaler Bandbreite für Agentenflotten werden zu eigenständigen Produktkategorien und nicht zu einheitlichen Beschleunigern. Wenn Google Preis- und Verfügbarkeitsdetails veröffentlicht, stellt sich für Käufer die praktische Frage, ob die verdoppelte Bandbreite des 8i Max zu einem ausreichenden Durchsatz für Agentenflotten führt, um einen Aufpreis gegenüber Standard-8i-Bereitstellungen zu rechtfertigen.

Die Modularität hat auch eine angebotsseitige Logik. Anstatt jahrelang darauf zu warten, dass ein Design der nächsten Generation den gesamten Hardware-Stack durchläuft, kann Google bestehende Chips neu kombinieren – wie es durch die Verlagerung von 8t-Chips in ein Secure-Inference-Paket mit einer anderen Host-CPU geschehen ist –, um Nischensegmente schneller zu erreichen und gleichzeitig einen gemeinsamen Software-Stack für alle Varianten beizubehalten. Diese Geschwindigkeit ist selbst eine Wettbewerbswaffe in einem Markt, in dem sich die Kundenanforderungen vierteljährlich ändern.

---

Der KI einen Schritt voraus sein

Erhalten Sie die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Weitere KI-Neuigkeiten lesen →