Google ha ampliado su línea de TPU de octava generación con dos nuevos sistemas especializados: TPU 8i Max, que combina dos chips de inferencia en un solo paquete para cargas de trabajo agentes de contexto prolongado, y TPU 8tx, creado para inferencia confidencial aislada por hardware dirigida a empresas reguladas y gobiernos. Tom's Hardware informó las incorporaciones el jueves.
La medida completa una familia que Google comenzó en abril con el TPU 8t, diseñado para entrenamiento de IA a gran escala, y el TPU 8i, construido para trabajos de inferencia de propósito general como muestreo, servicio y razonamiento. Con las nuevas variantes, la línea de octava generación ahora cubre capacitación, inferencia estándar, inferencia segura e inferencia agente de ancho de banda máximo, una matriz de opciones que refleja cuán diferente ahora las empresas usan el hardware de IA. Esta noticia sobre chips es parte de nuestra cobertura de los últimos desarrollos de IA en todo el mercado de hardware de IA.
Qué hacen los nuevos chips
TPU 8i Max coloca dos chips 8i en un solo paquete, duplicando el cómputo, la SRAM y el ancho de banda de memoria de alto ancho de banda del 8i original. El diseño apunta al trabajo de agencia de contexto largo: escenarios en los que los agentes de IA llevan contextos de trabajo muy grandes a través de tareas de varios pasos.
Tom's Hardware planteó la duplicación del ancho de banda como una forma de sortear lo que Google llama el muro de la memoria, el cuello de botella del ancho de banda que se agudiza "cuando docenas de agentes de IA trabajan juntos en toda una base de código de software". Las ventanas de contexto más grandes (con modelos más grandes que apuntan a alrededor de 1 millón de tokens) significan cachés KV más grandes, parcialmente guardados en SRAM, y cada nuevo token generado debe leer ese caché desde la memoria. Duplicar el ancho de banda de HBM en un solo paquete ataca precisamente ese cuello de botella, y la publicación señaló que es una ruta diferente al enfoque de Nvidia de emparejar un segundo tipo de chip para decodificar con un nivel de almacenamiento para contexto.
Mientras tanto, TPU 8tx está construido con el mismo silicio que el 8t orientado a la capacitación anunciado anteriormente, pero está configurado para computación confidencial: inferencia aislada de hardware para empresas reguladas y gobiernos que necesitan pruebas de que sus datos y modelos están protegidos durante el procesamiento. El sistema cambia las CPU host Axion basadas en Arm utilizadas por el 8t y el 8i por un procesador AMD EPYC de quinta generación y adopta la red Boardfly de Google.
En particular, Google aún tiene que compartir especificaciones detalladas, precios o fechas de envío para cualquiera de los nuevos sistemas, por lo que los compradores actualmente tienen representaciones y posicionamiento en lugar de productos que se pueden pedir.
Las representaciones publicadas por Google junto con el anuncio muestran una placa TPU 8tx con cuatro chips, junto con cuatro placas TPU 8i Max, cada una con dos chips en un solo paquete, una ilustración física de hasta qué punto la familia de octava generación se ha alejado del modelo de acelerador de un chip para todos de generaciones anteriores.
TPU Sync: la capa de software para la memoria del agente
Además del silicio, Google se apoya en el software para resolver el problema de la memoria del agente. TPU Sync es una "capa de estado de modelo para clústeres de TPU" de código abierto que organiza automáticamente cachés KV masivos del chip en milisegundos, moviéndolos hacia la DRAM del host y, experimentalmente, al almacenamiento compartido.
Según Google, esto puede reducir la latencia de transferencia de caché KV en más de un 90%, con las correspondientes ganancias en el tiempo hasta el primer token: el retraso que experimenta un usuario antes de que un sistema de inteligencia artificial comience a responder. Para cargas de trabajo agentes, donde una sola sesión puede involucrar docenas de llamadas de modelos secuenciales, cada una de las cuales necesita acceso al mismo contexto acumulado, la administración de caché se está volviendo tan importante como la computación sin procesar.
Por qué es importante para el mercado de hardware de IA
Los TPU se han convertido en un negocio de rápido crecimiento para Google, que cuenta con casi 100 clientes para los chips, incluido Meta, cuya adopción de los TPU de Google en sus centros de datos marcó una de las incursiones competitivas más importantes en el territorio de Nvidia. El enfoque más modular que Google está adoptando con la familia de octava generación, afirma la compañía, le permite ofrecer sistemas especializados "en cuestión de meses en lugar de años", contribuyendo así al crecimiento de los clientes.
El momento del anuncio es sorprendente. La expansión de chips de Google aterrizó el mismo día que Nvidia anunció que el director ejecutivo Jensen Huang renunció, con la directora financiera Colette Kress nombrada directora ejecutiva interina, una interrupción extraordinaria del liderazgo en la misma compañía cuyas GPU dominan el mercado que los TPU de Google están destruyendo. Los dos eventos no tienen causa relacionada, pero juntos subrayan cuán competitivo y volátil se ha vuelto el mercado de infraestructura de IA.
Para las empresas que evalúan la infraestructura de IA, las adiciones indican que el conjunto de opciones se está ampliando: el silicio optimizado para capacitación, la inferencia general, la inferencia segura para datos regulados y los paquetes de ancho de banda máximo para flotas de agentes se están convirtiendo en categorías de productos distintas en lugar de aceleradores de talla única. Cuando Google publique detalles de precios y disponibilidad, la pregunta práctica para los compradores será si el doble ancho de banda del 8i Max se traduce en suficiente rendimiento para que las flotas de agentes justifiquen una prima sobre las implementaciones estándar del 8i.
La modularidad también tiene una lógica del lado de la oferta. En lugar de esperar años para que un diseño de próxima generación recorra toda la pila de hardware, Google puede recombinar el silicio existente (como lo hizo al mover el silicio 8t a un paquete de inferencia segura con una CPU host diferente) para llegar a segmentos de nicho más rápido, manteniendo al mismo tiempo una pila de software común en todas las variantes. Esa velocidad es en sí misma un arma competitiva en un mercado donde los requisitos de los clientes cambian trimestralmente.
---
Manténgase a la vanguardia de la IAObtenga las últimas noticias, análisis y avances en IA, todo en un solo lugar.
Leer más noticias sobre IA →
