A Cerebras publicou um detalhamento de engenharia de como implanta modelos de IA de trilhões de parâmetros em seu hardware em escala de wafer – uma rara visão pública do encanamento por trás da inferência ultrarrápida para modelos cujos pesos por si só exigem terabytes de memória.

A postagem, escrita por Sarah Chieng e publicada no blog Cerebras em 22 de outubro de 2026, atraiu atenção renovada no fim de semana após chegar à primeira página do Hacker News. Sua questão central é simples: um único wafer Cerebras WSE-3T tem 44 GB de memória no chip, mas os modelos de fronteira de trilhões de parâmetros precisam de terabytes apenas para armazenar seus pesos. Como você preenche essa lacuna? Para mais contexto sobre esta história, confira nossa cobertura da indústria de IA.

Por que modelos de trilhões de parâmetros quebram o hardware normal

A resposta começa com uma verdade incômoda para aceleradores convencionais: com precisão total, um modelo com três trilhões de parâmetros não cabe na memória de nenhum chip do mercado. Os clusters de GPU resolvem isso dividindo modelos em vários dispositivos e enviando constantemente pesos e ativações por meio de interconexões de alta velocidade – uma grande parte da razão pela qual a inferência em modelos enormes é cara e lenta.

A Cerebras adota uma abordagem diferente. Seus chips em escala de wafer contêm enormes quantidades de SRAM no chip – 44 GB por wafer WSE-3T – o que significa que o objetivo da empresa é manter os pesos residentes no chip, onde o acesso à memória é dramaticamente mais rápido do que qualquer link fora do chip.

A empresa afirma que essa arquitetura permite executar modelos de vários trilhões de parâmetros a mais de 1.000 a 2.000 tokens por segundo.

Kimi K3 como exemplo trabalhado

Para tornar a explicação concreta, a Cerebras percorre a implantação do Kimi K3, um modelo de código aberto com cerca de 3 trilhões de parâmetros. O modelo usa uma arquitetura híbrida: 69 camadas de atenção linear e 24 camadas densas.

Citando resultados de benchmark, o blog diz que Kimi K3 obteve pontuação de 88,3% no Terminal-Bench 2.1 – logo atrás dos 88,8% do GPT-5.6 Sol – e 91,2% no BrowseComp, à frente dos 90,4% do GPT-5.6 Sol. Esses números, argumenta Cerebras, mostram codificação em nível de fronteira e capacidade de agente em um modelo de pesos abertos, o que o torna um bom alvo de demonstração.

O exemplo resolvido assume um tamanho médio de solicitação de 256.000 tokens, quantização de peso de 4 bits (correspondendo à implementação Hugging Face) e um cache KV de 8 bits.

Dividindo um modelo 3T em pedaços de 44 GB

A aritmética é a parte mais esclarecedora da postagem. Com 4 bits por parâmetro, os 3 trilhões de parâmetros do Kimi K3 equivalem a aproximadamente 1,5 TB de peso bruto. Dividida nas 93 camadas do modelo, cada camada precisa de cerca de 16 GB.

Isso se encaixa perfeitamente nos 44 GB disponíveis em cada wafer, mas os dois tipos de camadas se dividem de maneira diferente:

  • Camadas densas precisam de espaço para um cache KV, porque a atenção total armazena chaves e valores para cada token em cada solicitação ativa. A Cerebras coloca uma camada densa por wafer, deixando a SRAM restante para esse cache.
  • Camadas de atenção linear mantêm apenas um estado pequeno e de tamanho fixo por solicitação, independentemente do comprimento do contexto, portanto, nenhum cache KV é necessário. Isso deixa espaço para duas camadas lineares por wafer.

Com 69 camadas lineares e 24 camadas densas, o modelo mapeia 35 wafers para camadas lineares mais 24 wafers para camadas densas – 59 wafers no total para uma única cópia do Kimi K3.

Os pesos nunca se movem – apenas as ativações o fazem

A segunda ideia-chave é o que a Cerebras envia – e não envia – entre esses 59 wafers. A empresa executa modelos como um pipeline: depois que o compilador mapeia camadas em regiões de wafers, o tempo de execução traça o caminho que os tokens percorrem de wafer a wafer.

Crucialmente, como cada camada cabe inteiramente em um wafer (ou dois, para camadas lineares), os pesos do modelo nunca precisam se mover. As camadas não são divididas em wafers. Somente as ativações passam de um wafer para outro, transportadas por RDMA na Ethernet padrão com um tempo de salto de aproximadamente 2 microssegundos.

Esse ponto de design explica muito sobre as reivindicações de desempenho da Cerebras. Em implantações de GPU, a movimentação de pesos ou o estado de fragmentação entre dispositivos costuma ser o gargalo; no hardware Cerebras, a interconexão carrega apenas tensores de ativação muito menores.

Por que é importante para o mercado de inferência

A postagem é em parte um explicador de engenharia e em parte um argumento: que a SRAM em escala de wafer é uma forma confiável de servir os modelos cada vez mais enormes que a indústria está comercializando. À medida que lançamentos de peso aberto como o Kimi K3 se aproximam de três trilhões de parâmetros, a parede de memória se torna a restrição definidora da economia de inferência, e as abordagens que mantêm os pesos estacionários têm uma vantagem estrutural na velocidade por token.

Também sublinha o quanto depende da quantização. Toda a implantação depende de pesos de 4 bits e um cache KV de 8 bits – técnicas que reduzem o consumo de memória em aproximadamente 75% ou mais em comparação com linhas de base de 16 bits, preservando o desempenho de referência. Sem eles, mesmo 59 wafers não seriam suficientes.

As compensações também são reais. Um sistema de 59 wafers é uma máquina grande e especializada, e a abordagem de pipeline pressupõe que as solicitações podem ser agrupadas em lotes no sistema de forma eficiente. O blog da Cerebras aborda a simultaneidade como um de seus principais tópicos, ressaltando que a arquitetura foi projetada para lidar com um grande número de solicitações simultâneas.

Por enquanto, a postagem permanece como uma das explicações públicas mais claras sobre o que realmente é necessário para servir um modelo aberto em escala de fronteira a velocidades simbólicas de quatro dígitos – e um sinal de que a conversa sobre hardware de inferência está mudando de chips para sistemas wafer inteiros.

Fonte: blog Cerebras, “Como implantamos modelos de fronteira de trilhões de parâmetros no Cerebras” (22 de outubro de 2026).

---

Fique à Frente da IA

As últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.

Ler mais notícias de IA →