O Google expandiu sua linha de TPU de oitava geração com dois novos sistemas especializados: TPU 8i Max, que combina dois chips de inferência em um único pacote para cargas de trabalho de agente de longo contexto, e TPU 8tx, desenvolvido para inferência confidencial e isolada por hardware destinada a empresas e governos regulamentados. Tom's Hardware relatou as adições na quinta-feira.
A mudança completa uma família que o Google iniciou em abril com o TPU 8t, projetado para treinamento de IA em larga escala, e o TPU 8i, desenvolvido para trabalhos de inferência de uso geral, como amostragem, serviço e raciocínio. Com as novas variantes, a linha de oitava geração agora abrange treinamento, inferência padrão, inferência segura e inferência agente com largura de banda máxima – uma matriz de opções que reflete como as empresas agora usam hardware de IA de maneira diferente. Esta notícia sobre chips faz parte de nossa cobertura mais recentes de desenvolvimentos de IA em todo o mercado de hardware de IA.
O que os novos chips fazem
TPU 8i Max coloca dois chips 8i em um pacote, dobrando a largura de banda de computação, SRAM e memória de alta largura de banda do 8i original. O design tem como alvo o trabalho agente de longo contexto – cenários em que os agentes de IA transportam contextos de trabalho muito grandes em tarefas de várias etapas.
Tom's Hardware enquadrou a duplicação da largura de banda como uma forma de contornar o que o Google chama de parede de memória, o gargalo de largura de banda que se torna agudo "quando dezenas de agentes de IA trabalham juntos em toda uma base de código de software". Janelas de contexto maiores – com modelos maiores visando cerca de 1 milhão de tokens – significam caches KV maiores, parcialmente mantidos em SRAM, e cada novo token gerado deve ler esse cache de volta da memória. Duplicar a largura de banda do HBM em um único pacote ataca exatamente esse gargalo, e a publicação observou que é um caminho diferente da abordagem da Nvidia de emparelhar um segundo tipo de chip para decodificação com uma camada de armazenamento para contexto.
Enquanto isso, o TPU 8tx é construído no mesmo silício que o 8t orientado para treinamento anunciado anteriormente, mas está configurado para computação confidencial: inferência isolada de hardware para empresas regulamentadas e governos que precisam de provas de que seus dados e modelos estão protegidos durante o processamento. O sistema troca as CPUs host Axion baseadas em Arm usadas pelo 8t e 8i por um processador AMD EPYC de 5ª geração e adota a rede Boardfly do Google.
Notavelmente, o Google ainda não compartilhou especificações detalhadas, preços ou datas de envio para qualquer um dos novos sistemas, de modo que os compradores atualmente têm renderizações e posicionamento em vez de produtos encomendáveis.
As renderizações publicadas pelo Google junto com o anúncio mostram uma placa TPU 8tx carregando quatro chips, ao lado de quatro placas TPU 8i Max, cada uma carregando dois chips em um único pacote – uma ilustração física de até que ponto a família de oitava geração divergiu do modelo de acelerador de um chip que serve para todos das gerações anteriores.
TPU Sync: a camada de software para memória do agente
Juntamente com o silício, o Google está apostando em software para resolver o problema da memória do agente. TPU Sync é uma "camada de estado de modelo para clusters de TPU" de código aberto que separa automaticamente caches KV massivos do chip em milissegundos, movendo-os para hospedar DRAM e, experimentalmente, armazenamento compartilhado.
De acordo com o Google, isso pode reduzir a latência de transferência do cache KV em mais de 90%, com ganhos correspondentes no tempo até o primeiro token – o atraso que um usuário experimenta antes que um sistema de IA comece a responder. Para cargas de trabalho de agente, onde uma única sessão pode envolver dezenas de chamadas de modelo sequenciais, cada uma delas precisando de acesso ao mesmo contexto acumulado, o gerenciamento de cache está se tornando tão importante quanto a computação bruta.
Por que isso é importante para o mercado de hardware de IA
As TPUs se tornaram um negócio de rápido crescimento para o Google, que reivindica quase 100 clientes para os chips – incluindo a Meta, cuja adoção das TPUs do Google em seus data centers marcou uma das incursões competitivas mais significativas no território da Nvidia. A abordagem mais modular que o Google está adotando com a família de oitava geração, diz a empresa, permite fornecer sistemas especializados “em questão de meses, em vez de anos”, ajudando no crescimento do cliente.
O momento do anúncio é impressionante. A expansão do chip do Google ocorreu no mesmo dia em que a Nvidia anunciou que o CEO Jensen Huang renunciou, com a CFO Colette Kress nomeada CEO interina – uma interrupção extraordinária de liderança na mesma empresa cujas GPUs dominam o mercado que as TPUs do Google estão destruindo. Os dois eventos não têm causas relacionadas, mas juntos sublinham o quão competitivo e volátil se tornou o mercado de infraestruturas de IA.
Para as empresas que avaliam a infraestrutura de IA, as adições sinalizam que o conjunto de opções está se ampliando: silício otimizado para treinamento, inferência geral, inferência segura para dados regulamentados e pacotes de largura de banda máxima para frotas de agentes estão se tornando categorias de produtos distintas, em vez de aceleradores de tamanho único. Quando o Google publicar detalhes de preços e disponibilidade, a questão prática para os compradores será se a largura de banda duplicada do 8i Max se traduz em rendimento suficiente para frotas de agentes justificarem um prêmio em relação às implantações 8i padrão.
A modularidade também tem uma lógica do lado da oferta. Em vez de esperar anos para que um design de próxima geração percorra toda a pilha de hardware, o Google pode recombinar o silício existente – como fez ao mover o silício de 8t para um pacote de inferência segura com uma CPU host diferente – para alcançar segmentos de nicho mais rapidamente, enquanto mantém uma pilha de software comum em todas as variantes. Essa velocidade é em si uma arma competitiva num mercado onde as necessidades dos clientes mudam trimestralmente.
---
Fique à frente da IAReceba as últimas notícias, análises e avanços sobre IA — tudo em um só lugar.
Leia mais notícias sobre IA →
