O Google expandiu seu portfólio de TPU de oitava geração com dois novos sistemas – TPU 8tx para inferência segura e confidencial e TPU 8i Max para janelas de contexto massivas – marcando a primeira vez que a empresa envia quatro sistemas de TPU em um único ano.

Em uma postagem de blog publicada na segunda-feira, o Google disse que as duas adições foram projetadas para um perfil de carga de trabalho que mal existia quando a primeira TPU foi lançada, há uma década: frotas de agentes autônomos raciocinando em enormes janelas de contexto e lidando com dados corporativos confidenciais. “Com a computação passando da escala humana para a escala de agente, as empresas estão pedindo aceleradores que possam raciocinar através das enormes janelas de contexto dos modelos de IA”, escreveu a empresa. “Além disso, alguns clientes altamente regulamentados estão solicitando recursos de criptografia especializados para cargas de trabalho exclusivas”. Para mais contexto sobre esta história, confira nossa cobertura da indústria de IA.

Um sistema para cada estágio do ciclo de vida da agência

A oitava geração começou no Google Cloud Next em abril com a TPU 8t, desenvolvida para treinamento em larga escala, e a TPU 8i, desenvolvida para raciocínio em tempo real. O Google citou desempenho de treinamento até 2,7 vezes melhor para o 8t e desempenho de preço de inferência 80% melhor para o 8i em comparação com a geração anterior.

Os dois recém-chegados dividiram o território restante. Como disse o Google, os quatro sistemas juntos oferecem aos clientes “um acelerador desenvolvido especificamente para cada estágio do ciclo de vida da agência”: TPU 8t para treinamento de expansão, TPU 8i para raciocínio de baixa latência, TPU 8tx para computação confidencial e TPU 8i Max para janelas de contexto massivas e a mais alta densidade de computação por rack.

TPU 8tx: Segurança integrada ao hardware

O TPU 8tx é otimizado para inferência segura e confidencial e, observa o Google, também é adequado para treinamento em pequena escala. O cliente-alvo é explícito: empresas e governos regulamentados que executam modelos de fronteira ou proprietários e agentes autónomos juntamente com os seus dados mais sensíveis.

A abordagem de engenharia aborda uma tensão de longa data na computação segura. Os dados normalmente são criptografados quando armazenados ou transmitidos, mas precisam ser desbloqueados na memória enquanto um computador os processa – o momento em que são mais expostos. Construído no mesmo silício do TPU 8t e emparelhado com hosts de CPU AMD EPYC de 5ª geração, o TPU 8tx incorpora segurança diretamente na camada de hardware, mantendo dados confidenciais e pesos de modelo protegidos e isolados mesmo durante o uso ativo.

O sistema usa a mesma rede “Boardfly” de baixa latência que o Google criou para raciocínio em tempo real, o que significa que ele pode lidar com computação de nível de treinamento e inferência rápida simultaneamente. O Google afirma que isso permite que as organizações ajustem modelos com dados privados, destilem modelos grandes em modelos menores e treinem agentes por meio de aprendizado por reforço em um único sistema – sem migrar dados confidenciais entre clusters separados.

TPU 8i Max: atacando a parede da memória

TPU 8i Max aborda uma restrição totalmente diferente. “Quando dezenas de agentes de IA trabalham juntos em toda uma base de código de software ou horas de vídeo ao mesmo tempo, a largura de banda da memória rapidamente se torna o gargalo”, escreveu o Google. A resposta da empresa é arquitetônica: dois chips TPU 8i de baixa latência combinados em um único pacote.

O resultado é um sistema que dimensiona a computação e a memória em sincronia – entregando o dobro da computação, o dobro da SRAM e o dobro da largura de banda HBM da TPU 8i. E como o TPU 8i Max acomoda o dobro do silício no espaço ocupado pelo rack existente, o Google afirma que os data centers podem implantar significativamente mais poder de computação por metro quadrado e por watt, uma consideração significativa quando a energia e o espaço físico são as restrições vinculativas à expansão da capacidade de IA.

Por que sistemas, não chips

Uma nuance importante no anúncio de segunda-feira é que o Google está enquadrando estes como novos sistemas, em vez de novos chips. Projetar um chip, explica a empresa, é um processo de vários anos de disposição de bilhões de transistores vinculados à física e aos prazos de fabricação. Um sistema – como a computação, a rede, o armazenamento e o empacotamento são organizados em torno de um chip – pode ser ajustado com muito mais rapidez.

Essa modularidade é o núcleo da estratégia de hipercomputadores de IA do Google e é o que permitiu o lançamento de quatro sistemas especializados em uma única geração. O Google também destacou quanto de sua própria infraestrutura de IA agora é voltada para a construção do hardware: a empresa usa o sistema de aprendizagem por reforço AlphaChip da DeepMind e diz que a Gemini agora ajuda a fornecer layouts de chips “em horas, em vez de semanas”. O Google chama isso de “verdadeiro co-design” e um diferencial único.

O Contexto Competitivo

A expansão ocorre em meio à intensificação da concorrência em aceleradores de IA. As implantações de TPU chamaram a atenção por seu papel no atendimento de modelos fora dos próprios muros do Google - a empresa observa que as TPUs agora potencializam o treinamento e o atendimento para seus modelos Gemini, cargas de trabalho de agentes, atendimento ao cliente do Google Cloud e, mais recentemente, implantações diretas de TPUs nos próprios data centers dos clientes. O Google descreve as TPUs como “um negócio em rápido crescimento”.

A cobertura do anúncio, incluindo artigos da TechPowerUp e da Electronics Weekly, enquadrou a mudança em termos explicitamente competitivos – o Google estendendo sua linha de silício personalizado à medida que corteja cargas de trabalho de IA que, de outra forma, poderiam ser executadas em hardware NVIDIA. A NVIDIA, por sua vez, continuou a fornecer gerações sucessivas de seus próprios sistemas em escala de rack, deixando aos compradores de infraestrutura de IA uma escolha cada vez mais confiável entre silício comercial e personalizado.

O que isso significa para os desenvolvedores

Para os desenvolvedores, o significado prático tem menos a ver com um benchmark único e mais com o ajuste. As equipes que criam produtos agentes que lidam com documentos longos, grandes bases de código ou contexto de vídeo estendido têm atingido limites de largura de banda de memória que os FLOPS brutos não resolvem – o problema para o qual o 8i Max foi criado. As equipes de finanças, saúde e governo que não conseguiam mover cargas de trabalho confidenciais para infraestrutura compartilhada porque os dados precisavam ser descriptografados durante o processamento agora têm uma opção com suporte de hardware em 8tx.

O Google combinou as notícias de hardware com mensagens de acessibilidade de software, apontando para seus recentes anúncios PyTorch e seu objetivo declarado de tornar as TPUs “tão fáceis de usar quanto hardware de uso geral”. A empresa realizou uma transmissão na segunda-feira para detalhar os novos sistemas e disse que os clientes podem explorar toda a linha de infraestrutura no site do Google Cloud.

Fique à frente da IA

O silício personalizado está se tornando o campo de batalha estratégico da construção da IA. Fique à frente da IA ​​com o AI Buzz Wire — cobertura completa de hardware, modelos de IA e das empresas que os desenvolvem.

Leia mais notícias sobre IA →