Google a élargi son portefeuille TPU de huitième génération avec deux nouveaux systèmes – TPU 8tx pour une inférence sécurisée et confidentielle et TPU 8i Max pour des fenêtres contextuelles massives – marquant la première fois que la société expédie quatre systèmes TPU en une seule année.

Dans un article de blog publié lundi, Google a déclaré que les deux ajouts sont conçus pour un profil de charge de travail qui existait à peine lors du lancement du premier TPU il y a dix ans : des flottes d'agents autonomes raisonnant sur d'énormes fenêtres contextuelles et gérant des données d'entreprise sensibles. "À l'heure où l'informatique passe de l'échelle humaine à l'échelle des agents, les entreprises demandent des accélérateurs capables de raisonner à travers les énormes fenêtres contextuelles des modèles d'IA", a écrit la société. "En outre, certains clients hautement réglementés demandent des capacités de chiffrement spécialisées pour des charges de travail uniques." Pour plus de contexte sur cette histoire, consultez notre actualités IA.

Un système pour chaque étape du cycle de vie de l'agent

La huitième génération a débuté chez Google Cloud Next en avril avec le TPU 8t, conçu pour la formation à grande échelle, et le TPU 8i, conçu pour le raisonnement en temps réel. Google a cité des performances d'entraînement jusqu'à 2,7 fois supérieures pour le 8t et un rapport prix/performance d'inférence 80 % supérieur pour le 8i par rapport à la génération précédente.

Les deux nouveaux arrivants se partagent le territoire restant. Comme le dit Google, les quatre systèmes réunis offrent aux clients « un accélérateur spécialement conçu pour chaque étape du cycle de vie agent » : TPU 8t pour la formation à grande échelle, TPU 8i pour le raisonnement à faible latence, TPU 8tx pour l'informatique confidentielle et TPU 8i Max pour des fenêtres contextuelles massives et la densité de calcul la plus élevée par rack.

TPU 8tx : sécurité intégrée au matériel

TPU 8tx est optimisé pour une inférence sécurisée et confidentielle et, note Google, est également bien adapté à la formation à petite échelle. Le client cible est explicite : des entreprises et des gouvernements réglementés exécutant des modèles frontières ou propriétaires et des agents autonomes aux côtés de leurs données les plus sensibles.

L’approche technique répond à une tension de longue date dans le domaine de l’informatique sécurisée. Les données sont normalement cryptées lorsqu’elles sont stockées ou transmises, mais doivent être déverrouillées en mémoire pendant qu’un ordinateur les traite – au moment où elles sont le plus exposées. Construit sur le même silicium que le TPU 8t et associé à des hôtes CPU AMD EPYC de 5e génération, le TPU 8tx intègre la sécurité directement dans la couche matérielle, gardant les données sensibles et les poids des modèles protégés et isolés même en utilisation active.

Le système utilise le même réseau « Boardfly » à faible latence créé par Google pour le raisonnement en temps réel, ce qui signifie qu'il peut gérer simultanément le calcul de niveau formation et l'inférence rapide. Google affirme que cela permet aux organisations d'affiner leurs modèles avec des données privées, de distiller des modèles volumineux en modèles plus petits et de former des agents via un apprentissage par renforcement sur un seul système, sans migrer de données sensibles entre des clusters distincts.

TPU 8i Max : à l'attaque du mur de mémoire

Le TPU 8i Max s’attaque à une contrainte entièrement différente. "Lorsque des dizaines d'agents d'IA travaillent ensemble sur l'ensemble d'une base de code logiciel ou sur des heures de vidéo à la fois, la bande passante mémoire devient rapidement un goulot d'étranglement", écrit Google. La réponse de l'entreprise est architecturale : deux puces TPU 8i à faible latence combinées dans un seul boîtier.

Le résultat est un système qui fait évoluer le calcul et la mémoire de manière synchronisée, offrant le double du calcul, le double de la SRAM et le double de la bande passante HBM du TPU 8i. Et comme le TPU 8i Max contient deux fois plus de silicium dans l'encombrement du rack existant, Google affirme que les centres de données peuvent déployer beaucoup plus de puissance de calcul par pied carré et par watt, une considération significative lorsque la puissance et l'espace au sol sont les contraintes contraignantes pour l'expansion de la capacité de l'IA.

Pourquoi des systèmes, pas des puces

Une nuance importante dans l'annonce de lundi est que Google les présente comme de nouveaux systèmes plutôt que de nouvelles puces. La conception d'une puce, explique la société, est un processus pluriannuel consistant à disposer des milliards de transistors liés par la physique et les délais de fabrication. Un système – la manière dont le calcul, la mise en réseau, le stockage et le packaging sont organisés autour d’une puce – peut être ajusté beaucoup plus rapidement.

Cette modularité est au cœur de la stratégie AI Hypercomputer de Google et c'est ce qui a permis à quatre systèmes spécialisés d'être livrés en une seule génération. Google a également souligné à quel point sa propre infrastructure d'IA est désormais consacrée à la construction du matériel : la société utilise le système d'apprentissage par renforcement AlphaChip de DeepMind et affirme que Gemini aide désormais à fournir des configurations de puces "en quelques heures plutôt qu'en semaines". Google appelle cela une « véritable co-conception » et un différenciateur unique.

Le contexte concurrentiel

Cette expansion intervient dans un contexte de concurrence croissante dans les accélérateurs d’IA. Les déploiements de TPU ont attiré l'attention pour leur rôle dans la fourniture de modèles en dehors des murs de Google. La société note que les TPU alimentent désormais la formation et servent ses modèles Gemini, ses charges de travail agents, les services clients Google Cloud et, plus récemment, les déploiements directs de TPU dans les propres centres de données des clients. Google décrit les TPU comme « une activité en croissance rapide ».

La couverture de l'annonce, y compris des articles de TechPowerUp et Electronics Weekly, a présenté cette décision en termes explicitement compétitifs : Google étendant sa gamme de silicium personnalisée tout en s'attaquant aux charges de travail d'IA qui pourraient autrement s'exécuter sur du matériel NVIDIA. NVIDIA, pour sa part, a continué à commercialiser des générations successives de ses propres systèmes à l'échelle rack, laissant aux acheteurs d'infrastructures d'IA un choix de plus en plus crédible entre le silicium marchand et le silicium personnalisé.

Ce que cela signifie pour les développeurs

Pour les développeurs, l’importance pratique concerne moins une référence unique qu’une question d’adéquation. Les équipes qui créent des produits agents qui traitent de longs documents, de grandes bases de code ou un contexte vidéo étendu ont atteint des plafonds de bande passante mémoire que les FLOPS bruts ne résolvent pas – le problème pour lequel 8i Max est conçu. Les équipes des secteurs de la finance, de la santé et du gouvernement qui ne pouvaient pas déplacer leurs charges de travail sensibles vers une infrastructure partagée parce que les données devaient être déchiffrées pendant le traitement disposent désormais d'une option matérielle en 8tx.

Google a associé l'actualité du matériel à la messagerie sur l'accessibilité des logiciels, en soulignant ses récentes annonces PyTorch et son objectif déclaré de rendre les TPU "aussi faciles à utiliser que le matériel à usage général". La société a organisé une émission lundi pour détailler les nouveaux systèmes et a déclaré que les clients pouvaient explorer la gamme complète d'infrastructures sur le site Web de Google Cloud.

Gardez une longueur d'avance sur l'IA

Le silicium personnalisé devient le champ de bataille stratégique du développement de l’IA. Gardez une longueur d'avance sur l'IA avec AI Buzz Wire — une couverture complète du matériel, des modèles et des entreprises qui les construisent.

Lire plus d'actualités sur l'IA →