Google bringt TPU 8tx und TPU 8i Max auf den Markt und vervollständigt damit die AI-Chip-Reihe der achten Generation mit vier Systemen

Google hat sein TPU-Portfolio der achten Generation um zwei neue Systeme erweitert – TPU 8tx für sichere, vertrauliche Inferenz und TPU 8i Max für umfangreiche Kontextfenster – und stellt damit das erste Mal dar, dass das Unternehmen in einem einzigen Jahr vier TPU-Systeme ausgeliefert hat.

In einem am Montag veröffentlichten Blogbeitrag sagte Google, dass die beiden Ergänzungen für ein Workload-Profil konzipiert seien, das bei der Einführung der ersten TPU vor einem Jahrzehnt kaum existierte: Flotten autonomer Agenten, die über riesige Kontextfenster nachdenken und sensible Unternehmensdaten verarbeiten. „Da sich die Datenverarbeitung vom menschlichen zum Agenten-Maßstab verlagert, fragen Unternehmen nach Beschleunigern, die über die riesigen Kontextfenster von KI-Modellen hinweg argumentieren können“, schrieb das Unternehmen. „Darüber hinaus fragen einige stark regulierte Kunden nach speziellen Verschlüsselungsfunktionen für einzigartige Workloads.“ Weitere Informationen zu dieser Geschichte finden Sie in unserer aktuelle KI-Trends.

Ein System für jede Phase des Agentenlebenszyklus

Die achte Generation startete im April bei Google Cloud Next mit TPU 8t, das für groß angelegte Schulungen entwickelt wurde, und TPU 8i, das für Echtzeit-Schlussfolgerungen entwickelt wurde. Google gab eine bis zu 2,7-mal bessere Trainingsleistung für das 8t und ein 80 % besseres Inferenz-Preis-Leistungs-Verhältnis für das 8i im Vergleich zur vorherigen Generation an.

Die beiden Neuankömmlinge teilten das verbleibende Territorium auf. Wie Google es ausdrückte, bieten die vier Systeme den Kunden zusammen „einen speziell entwickelten Beschleuniger für jede Phase des Agentenlebenszyklus“: TPU 8t für Scale-up-Training, TPU 8i für Schlussfolgerungen mit geringer Latenz, TPU 8tx für vertrauliches Computing und TPU 8i Max für riesige Kontextfenster und die höchste Rechendichte pro Rack.

TPU 8tx: In die Hardware integrierte Sicherheit

TPU 8tx ist für sichere und vertrauliche Schlussfolgerungen optimiert und eignet sich laut Google auch gut für Schulungen im kleinen Maßstab. Der Zielkunde ist eindeutig: regulierte Unternehmen und Regierungen, die neben ihren sensibelsten Daten Grenz- oder proprietäre Modelle und autonome Agenten betreiben.

Der technische Ansatz geht auf ein seit langem bestehendes Spannungsfeld im sicheren Computing ein. Normalerweise werden Daten beim Speichern oder Übertragen verschlüsselt, müssen aber im Speicher entsperrt werden, während ein Computer sie verarbeitet – also in dem Moment, in dem sie am stärksten gefährdet sind. Basierend auf dem gleichen Silizium wie TPU 8t und gepaart mit AMD EPYC-CPU-Hosts der 5. Generation baut TPU 8tx Sicherheit direkt in die Hardwareschicht ein und hält vertrauliche Daten und Modellgewichte auch bei aktiver Nutzung geschützt und isoliert.

Das System nutzt dasselbe „Boardfly“-Netzwerk mit geringer Latenz, das Google für Echtzeit-Schlussfolgerungen entwickelt hat, was bedeutet, dass es gleichzeitig Rechenleistung auf Trainingsniveau und schnelle Inferenz verarbeiten kann. Google sagt, dass Unternehmen dadurch Modelle mit privaten Daten verfeinern, große Modelle in kleinere zerlegen und Agenten durch Reinforcement Learning auf einem einzigen System schulen können – ohne sensible Daten zwischen separaten Clustern zu migrieren.

TPU 8i Max: Angriff auf die Speichermauer

Das TPU 8i Max geht eine völlig andere Einschränkung an. „Wenn Dutzende von KI-Agenten über eine gesamte Software-Codebasis oder stundenlanges Video gleichzeitig zusammenarbeiten, wird die Speicherbandbreite schnell zum Engpass“, schrieb Google. Die Antwort des Unternehmens ist architektonisch: zwei TPU 8i-Chips mit geringer Latenz, kombiniert in einem einzigen Gehäuse.

Das Ergebnis ist ein System, das Rechenleistung und Speicher im Gleichschritt skaliert – und so die doppelte Rechenleistung, das doppelte SRAM und die doppelte HBM-Bandbreite von TPU 8i liefert. Und da das TPU 8i Max doppelt so viel Silizium in die bestehende Rack-Grundfläche einbaut, können Rechenzentren laut Google deutlich mehr Rechenleistung pro Quadratfuß und pro Watt bereitstellen – eine sinnvolle Überlegung, wenn Leistung und Stellfläche die verbindlichen Einschränkungen für die Erweiterung der KI-Kapazität darstellen.

Warum Systeme, keine Chips

Eine wichtige Nuance in der Ankündigung vom Montag ist, dass Google diese als neue Systeme und nicht als neue Chips bezeichnet. Das Unternehmen erklärt, dass das Entwerfen eines Chips ein mehrjähriger Prozess sei, bei dem Milliarden von Transistoren entworfen und an physikalische und zeitliche Vorgaben für die Herstellung gebunden seien. Ein System – wie Rechenleistung, Netzwerk, Speicherung und Verpackung um einen Chip herum angeordnet sind – kann viel schneller angepasst werden.

Diese Modularität ist der Kern der KI-Hypercomputer-Strategie von Google und ermöglichte die Auslieferung von vier spezialisierten Systemen innerhalb einer einzigen Generation. Google betonte auch, wie viel von seiner eigenen KI-Infrastruktur nun wieder in den Bau der Hardware fließt: Das Unternehmen nutzt das Reinforcement-Learning-System AlphaChip von DeepMind und sagt, Gemini helfe nun dabei, Chip-Layouts „in Stunden statt Wochen“ zu liefern. Google nennt dies „echtes Co-Design“ und ein einzigartiges Unterscheidungsmerkmal.

Der Wettbewerbskontext

Die Erweiterung erfolgt inmitten eines zunehmenden Wettbewerbs bei KI-Beschleunigern. TPU-Bereitstellungen haben wegen ihrer Rolle bei der Bereitstellung von Modellen außerhalb der eigenen Mauern von Google Aufmerksamkeit erregt – das Unternehmen stellt fest, dass TPUs jetzt das Training und die Bereitstellung für seine Gemini-Modelle, Agenten-Workloads, Google Cloud-Kundendienste und zuletzt die direkte Bereitstellung von TPUs in den eigenen Rechenzentren der Kunden unterstützen. Google beschreibt TPUs als „ein schnell wachsendes Geschäft“.

Die Berichterstattung über die Ankündigung, darunter Artikel von TechPowerUp und Electronics Weekly, umrahmte den Schritt mit ausdrücklich wettbewerbsorientierten Begriffen – Google erweitert sein Angebot an maßgeschneiderten Siliziumlösungen, da es KI-Workloads in den Vordergrund stellt, die andernfalls auf NVIDIA-Hardware laufen würden. NVIDIA hat seinerseits weiterhin aufeinanderfolgende Generationen seiner eigenen Rack-Scale-Systeme ausgeliefert, wodurch Käufer von KI-Infrastrukturen eine immer glaubwürdigere Wahl zwischen handelsüblichen und kundenspezifischen Chips haben.

Was es für Entwickler bedeutet

Für Entwickler liegt die praktische Bedeutung weniger in einem einzelnen Benchmark als vielmehr in der Passgenauigkeit. Teams, die Agentenprodukte entwickeln, die lange Dokumente, große Codebasen oder erweiterten Videokontext durcharbeiten, stoßen an Speicherbandbreiten-Obergrenzen, die rohe FLOPS nicht lösen können – das Problem, für das 8i Max entwickelt wurde. Teams im Finanzwesen, im Gesundheitswesen und in der Regierung, die sensible Arbeitslasten nicht auf eine gemeinsame Infrastruktur verlagern konnten, weil die Daten während der Verarbeitung entschlüsselt werden mussten, haben jetzt mit 8tx eine hardwaregestützte Option.

Google verband die Hardware-Neuigkeiten mit Mitteilungen zur Software-Barrierefreiheit und verwies auf seine jüngsten PyTorch-Ankündigungen und sein erklärtes Ziel, TPUs „so benutzerfreundlich wie Allzweck-Hardware“ zu machen. Das Unternehmen veranstaltete am Montag eine Sendung, in der die neuen Systeme detailliert vorgestellt wurden, und sagte, dass Kunden die gesamte Infrastrukturpalette auf der Google Cloud-Website erkunden können.

Bleiben Sie der KI immer einen Schritt voraus

Maßgeschneidertes Silizium wird zum strategischen Schlachtfeld des KI-Ausbaus. Bleiben Sie der KI immer einen Schritt voraus mit AI Buzz Wire – bahnbrechende Berichterstattung über KI-Hardware, -Modelle und die Unternehmen, die sie herstellen.

Weitere KI-Neuigkeiten lesen →