Google ha ampliado su cartera de TPU de octava generación con dos nuevos sistemas: TPU 8tx para inferencia segura y confidencial y TPU 8i Max para ventanas contextuales masivas, lo que marca la primera vez que la compañía envía cuatro sistemas TPU en un solo año.
En una publicación de blog publicada el lunes, Google dijo que las dos adiciones están diseñadas para un perfil de carga de trabajo que apenas existía cuando se lanzó la primera TPU hace una década: flotas de agentes autónomos que razonan sobre enormes ventanas de contexto y manejan datos empresariales confidenciales. "Con la informática pasando de la escala humana a la de agentes, las empresas están pidiendo aceleradores que puedan razonar a través de ventanas contextuales masivas de modelos de IA", escribió la compañía. "Además, algunos clientes altamente regulados solicitan capacidades de cifrado especializadas para cargas de trabajo únicas". Para más contexto sobre esta historia, consulta nuestra noticias de IA.
Un sistema para cada etapa del ciclo de vida de los agentes
La octava generación comenzó en Google Cloud Next en abril con TPU 8t, creado para capacitación a gran escala, y TPU 8i, diseñado para razonamiento en tiempo real. Google citó un rendimiento de entrenamiento hasta 2,7 veces mejor para el 8t y un 80% mejor de inferencia precio-rendimiento para el 8i en comparación con la generación anterior.
Los dos recién llegados se repartieron el territorio restante. Como lo expresó Google, los cuatro sistemas juntos brindan a los clientes "un acelerador diseñado específicamente para cada etapa del ciclo de vida agente": TPU 8t para capacitación de ampliación, TPU 8i para razonamiento de baja latencia, TPU 8tx para computación confidencial y TPU 8i Max para ventanas de contexto masivas y la mayor densidad de computación por rack.
TPU 8tx: Seguridad integrada en el hardware
TPU 8tx está optimizado para una inferencia segura y confidencial y, según señala Google, también se adapta bien a la formación a pequeña escala. El cliente objetivo es explícito: empresas reguladas y gobiernos que ejecutan modelos fronterizos o propietarios y agentes autónomos junto con sus datos más confidenciales.
El enfoque de ingeniería aborda una tensión de larga data en la informática segura. Los datos normalmente se cifran cuando se almacenan o transmiten, pero deben desbloquearse en la memoria mientras una computadora los procesa, el momento en que están más expuestos. Construido con el mismo silicio que TPU 8t y combinado con hosts de CPU AMD EPYC de quinta generación, TPU 8tx incorpora seguridad directamente en la capa de hardware, manteniendo los datos confidenciales y los pesos de los modelos protegidos y aislados incluso mientras están en uso activo.
El sistema utiliza la misma red "Boardfly" de baja latencia que Google creó para el razonamiento en tiempo real, lo que significa que puede manejar computación de nivel de entrenamiento e inferencia rápida simultáneamente. Google dice que esto permite a las organizaciones ajustar modelos con datos privados, descomponer modelos grandes en otros más pequeños y capacitar a los agentes a través del aprendizaje reforzado en un solo sistema, sin migrar datos confidenciales entre grupos separados.
TPU 8i Max: atacando el muro de la memoria
TPU 8i Max aborda una limitación completamente diferente. "Cuando docenas de agentes de IA trabajan juntos en una base de código de software completa o en horas de vídeo a la vez, el ancho de banda de la memoria se convierte rápidamente en un cuello de botella", escribió Google. La respuesta de la compañía es arquitectónica: dos chips TPU 8i de baja latencia combinados en un solo paquete.
El resultado es un sistema que escala la computación y la memoria al mismo tiempo: ofrece el doble de computación, el doble de SRAM y el doble de ancho de banda HBM que el TPU 8i. Y debido a que TPU 8i Max cabe el doble de silicio dentro del espacio de rack existente, Google dice que los centros de datos pueden implementar significativamente más potencia informática por pie cuadrado y por vatio, una consideración significativa cuando la energía y el espacio son las limitaciones vinculantes para la expansión de la capacidad de IA.
Por qué sistemas, no chips
Un matiz importante en el anuncio del lunes es que Google los presenta como nuevos sistemas en lugar de nuevos chips. Diseñar un chip, explica la compañía, es un proceso de varios años de diseño de miles de millones de transistores sujetos a plazos físicos y de fabricación. Un sistema (cómo se organizan la computación, las redes, el almacenamiento y el empaquetado alrededor de un chip) se puede ajustar mucho más rápido.
Esa modularidad es el núcleo de la estrategia de hipercomputadoras de IA de Google, y es lo que permitió que se lanzaran cuatro sistemas especializados en una sola generación. Google también destacó cuánto de su propia infraestructura de IA ahora se destina a la construcción del hardware: la compañía utiliza el sistema de aprendizaje por refuerzo AlphaChip de DeepMind y dice que Gemini ahora ayuda a entregar diseños de chips "en horas en lugar de semanas". Google llama a esto un "verdadero codiseño" y un diferenciador único.
El contexto competitivo
La expansión se produce en medio de una competencia cada vez más intensa en los aceleradores de IA. Las implementaciones de TPU han llamado la atención por su papel en el servicio de modelos fuera de los propios muros de Google: la compañía señala que los TPU ahora impulsan la capacitación y el servicio para sus modelos Gemini, cargas de trabajo agentes, servicios al cliente de Google Cloud y, más recientemente, implementaciones directas de TPU en los propios centros de datos de los clientes. Google describe las TPU como "un negocio en rápido crecimiento".
La cobertura del anuncio, incluidos artículos de TechPowerUp y Electronics Weekly, enmarcó la medida en términos explícitamente competitivos: Google amplía su línea de silicio personalizado a medida que corteja cargas de trabajo de IA que de otro modo podrían ejecutarse en hardware NVIDIA. NVIDIA, por su parte, ha seguido enviando generaciones sucesivas de sus propios sistemas a escala de rack, lo que deja a los compradores de infraestructura de IA con una opción cada vez más creíble entre silicio comercial y personalizado.
Qué significa para los desarrolladores
Para los desarrolladores, la importancia práctica tiene menos que ver con un único punto de referencia y más con el ajuste. Los equipos que crean productos agentes que procesan documentos largos, bases de código grandes o contextos de video extendidos han estado alcanzando límites de ancho de banda de memoria que los FLOPS sin formato no resuelven: el problema para el que está diseñado el 8i Max. Los equipos de finanzas, atención médica y gobierno que no podían mover cargas de trabajo confidenciales a una infraestructura compartida porque los datos debían descifrarse durante el procesamiento ahora tienen una opción respaldada por hardware en 8tx.
Google combinó las noticias sobre hardware con mensajes de accesibilidad de software, señalando sus recientes anuncios de PyTorch y su objetivo declarado de hacer que las TPU sean "tan fáciles de usar como el hardware de uso general". La compañía realizó una transmisión el lunes para detallar los nuevos sistemas y dijo que los clientes pueden explorar la gama completa de infraestructura en el sitio web de Google Cloud.
Manténgase por delante de la IA
El silicio personalizado se está convirtiendo en el campo de batalla estratégico del desarrollo de la IA. Manténgase a la vanguardia de la IA con AI Buzz Wire: cobertura innovadora sobre el hardware, los modelos y las empresas de IA que los construyen.
Leer más noticias sobre IA →
