Google a élargi sa gamme TPU de huitième génération avec deux nouveaux systèmes spécialisés : TPU 8i Max, qui combine deux puces d'inférence dans un seul package pour les charges de travail agents à contexte long, et TPU 8tx, conçu pour l'inférence confidentielle et isolée du matériel, destinée aux entreprises et aux gouvernements réglementés. Tom's Hardware a rapporté les ajouts jeudi.

Cette décision complète une famille que Google a lancée en avril avec le TPU 8t, conçu pour la formation à l'IA à grande échelle, et le TPU 8i, conçu pour les travaux d'inférence à usage général tels que l'échantillonnage, le service et le raisonnement. Avec les nouvelles variantes, la gamme de huitième génération couvre désormais la formation, l'inférence standard, l'inférence sécurisée et l'inférence agentique à bande passante maximale – une matrice d'options qui reflète la manière dont les entreprises utilisent désormais le matériel d'IA. Cette actualité sur les puces fait partie de notre couverture des derniers développements en matière d'IA sur le marché du matériel d'IA.

Que font les nouvelles puces

Le TPU 8i Max regroupe deux puces 8i dans un seul boîtier, doublant ainsi la bande passante de calcul, la SRAM et la mémoire à large bande passante du 8i d'origine. La conception cible le travail agentique à long contexte, c'est-à-dire des scénarios dans lesquels les agents d'IA effectuent de très vastes contextes de travail sur des tâches en plusieurs étapes.

Tom's Hardware a présenté le doublement de la bande passante comme un moyen de contourner ce que Google appelle le mur de mémoire, le goulot d'étranglement de la bande passante qui devient aigu « lorsque des dizaines d'agents d'IA travaillent ensemble sur l'ensemble d'une base de code logiciel ». Des fenêtres de contexte plus grandes – avec des modèles plus grands ciblant environ 1 million de jetons – signifient des caches KV plus grands, en partie conservés dans la SRAM, et chaque nouveau jeton généré doit relire ce cache depuis la mémoire. Doubler la bande passante HBM dans un seul package s'attaque précisément à ce goulot d'étranglement, et la publication note qu'il s'agit d'une voie différente de l'approche de Nvidia consistant à associer un deuxième type de puce pour le décodage avec un niveau de stockage pour le contexte.

Le TPU 8tx, quant à lui, est construit sur le même silicium que le 8t orienté formation annoncé précédemment, mais est configuré pour l'informatique confidentielle : une inférence isolée du matériel pour les entreprises réglementées et les gouvernements qui ont besoin de prouver que leurs données et leurs modèles sont protégés pendant le traitement. Le système remplace les processeurs hôtes Axion basés sur Arm utilisés par les 8t et 8i contre un processeur AMD EPYC de 5e génération et adopte la mise en réseau Boardfly de Google.

Notamment, Google n'a pas encore partagé les spécifications détaillées, les prix ou les dates d'expédition de l'un ou l'autre des nouveaux systèmes, de sorte que les acheteurs disposent actuellement de rendus et de positionnement plutôt que de produits pouvant être commandés.

Les rendus publiés par Google parallèlement à l'annonce montrent une carte TPU 8tx transportant quatre puces, ainsi que quatre cartes TPU 8i Max, chacune transportant deux puces sur un seul boîtier – une illustration physique de l'écart entre la famille de huitième génération et le modèle d'accélérateur à puce unique des générations précédentes.

TPU Sync : la couche logicielle pour la mémoire des agents

Parallèlement au silicium, Google s'appuie sur des logiciels pour résoudre le problème de la mémoire des agents. TPU Sync est une « couche d'état de modèle » open source pour les clusters TPU qui hiérarchise automatiquement les caches KV massifs de la puce en quelques millisecondes, les déplaçant vers la DRAM hôte et, expérimentalement, le stockage partagé.

Selon Google, cela peut réduire la latence de transfert du cache KV de plus de 90 %, avec des gains correspondants en termes de temps d'obtention du premier jeton – le délai qu'un utilisateur subit avant qu'un système d'IA ne commence à répondre. Pour les charges de travail agentiques, où une seule session peut impliquer des dizaines d'appels de modèle séquentiels nécessitant chacun d'accéder au même contexte accumulé, la gestion du cache devient aussi importante que le calcul brut.

Pourquoi c'est important pour le marché du matériel d'IA

Les TPU sont devenus une activité en croissance rapide pour Google, qui revendique près de 100 clients pour les puces, dont Meta, dont l'adoption des TPU de Google dans ses centres de données a marqué l'une des incursions concurrentielles les plus importantes sur le territoire de Nvidia. L'approche plus modulaire adoptée par Google avec la famille de huitième génération, affirme la société, lui permet de fournir des systèmes spécialisés « en quelques mois plutôt qu'en années », aidant ainsi la croissance de cette clientèle.

Le moment choisi pour l’annonce est frappant. L'expansion des puces de Google a eu lieu le jour même où Nvidia a annoncé la démission de son PDG Jensen Huang et la nomination de sa directrice financière Colette Kress par intérim - une perturbation extraordinaire du leadership de l'entreprise même dont les GPU dominent le marché que les TPU de Google sont en train de réduire. Les deux événements n’ont aucun lien de cause, mais ensemble, ils soulignent à quel point le marché des infrastructures d’IA est devenu compétitif et volatil.

Pour les entreprises évaluant l’infrastructure d’IA, ces ajouts indiquent que l’ensemble des choix s’élargit : le silicium optimisé pour la formation, l’inférence générale, l’inférence sécurisée pour les données réglementées et les packages à bande passante maximale pour les flottes d’agents deviennent des catégories de produits distinctes plutôt que des accélérateurs universels. Lorsque Google publiera les détails des prix et de la disponibilité, la question pratique pour les acheteurs sera de savoir si la bande passante doublée du 8i Max se traduira par un débit suffisant pour les flottes d'agents pour justifier une prime par rapport aux déploiements 8i standard.

La modularité a également une logique d’offre. Plutôt que d'attendre des années qu'une conception de nouvelle génération parcourt la pile matérielle complète, Google peut recombiner le silicium existant – comme il l'a fait en déplaçant le silicium 8t dans un package d'inférence sécurisée avec un processeur hôte différent – ​​pour atteindre plus rapidement des segments de niche, tout en conservant une pile logicielle commune à toutes les variantes. Cette rapidité est en soi une arme concurrentielle sur un marché où les exigences des clients évoluent chaque trimestre.

---

Gardez une longueur d'avance sur l'IA

Recevez les dernières actualités, analyses et avancées en matière d'IA, le tout en un seul endroit.

Lire plus d'actualités sur l'IA →