Thinking Machines detalha treinamento completo de 4 bits em hardware Nvidia GB300

Thinking Machines Lab, a empresa de pesquisa fundada pela ex-diretora de tecnologia da OpenAI Mira Murati, publicou uma explicação técnica detalhada de como treina grandes modelos de linguagem quase inteiramente com precisão de 4 bits – uma técnica que a empresa afirma desbloquear grande velocidade e economia de memória no mais novo hardware de data center da Nvidia.

A postagem do blog, intitulada “Treinamento de 4 bits ponta a ponta” e publicada no site da empresa em 13 de novembro, aborda as compensações numéricas por trás do treinamento de baixa precisão e descreve como a equipe as gerenciou enquanto treinava seu modelo Inkling 2 Small. Para os leitores que acompanham os últimos desenvolvimentos de IA, a postagem oferece uma rara visão pública das decisões de engenharia que determinam quanto custa realmente um treinamento em escala de fronteira.

Por que menos bits significa treinamento mais rápido

Treinar um grande modelo de linguagem envolve calcular e armazenar enormes quantidades de números. Usar menos bits para cada valor reduz o uso de memória e permite que as GPUs executem operações aritméticas mais rapidamente. O custo é a precisão: menos bits significam menos números representáveis, portanto os valores devem ser arredondados de forma mais agressiva.

A empresa ilustra o problema com um exemplo simples. Se um formato só puder representar os números 3 e 4, armazenar 3,2 exigirá arredondamento para 3, introduzindo um erro de quantização de 0,2. Um único erro de arredondamento é trivial, mas durante o treinamento esses erros se acumulam nas camadas e nas etapas de otimização e podem interferir no próprio processo de aprendizagem.

“Este é o desafio central do treinamento de baixa precisão: como podemos nos beneficiar de uma aritmética mais rápida sem introduzir erros que interfiram no aprendizado?” a empresa escreveu no post.

Três formatos, uma corrida de treinamento

Em vez de se comprometer com um único nível de precisão, o Thinking Machines usa três formatos numéricos em diferentes estágios de treinamento: BF16, MXFP8 e NVFP4. Cada formato possui precisão fixa, mas sua velocidade depende do hardware que o executa.

A empresa treina na plataforma Grace Blackwell Ultra da Nvidia, a GB300, que foi projetada especificamente para acelerar multiplicações de matrizes em NVFP4. De acordo com a postagem, o NVFP4 armazena valores com 3,6 vezes menos bits que o BF16, ao mesmo tempo que roda até 6 vezes mais rápido em sistemas GB300. Em termos de rendimento bruto, a empresa lista o desempenho do GB300 em aproximadamente 15 PFLOPS no NVFP4, 5 PFLOPS no MXFP8 e 2,5 PFLOPS no BF16.

O problema é que a compressão agressiva do NVFP4 introduz muito mais erros de quantização do que os formatos mais amplos. Esse erro é aceitável em algumas etapas do treinamento e inaceitável em outras, por isso a empresa trata cada etapa separadamente.

Estágios diferentes, regras diferentes

A postagem do blog divide o treinamento em quatro estágios – as passagens para frente e para trás do pré-treinamento, o amostrador de aprendizagem por reforço e o treinador RL – e atribui a cada um um equilíbrio diferente de prioridades entre minimizar erros, minimizar vieses, aumentar a velocidade e reduzir o uso de memória.

A velocidade é mais importante nas etapas de alto volume: pré-treinamento, que executa trilhões de tokens, e amostragem RL, que gera grandes volumes de implementações. Os passes para trás, no entanto, são um caso especial. A postagem explica que as passagens para trás são médias em muitos tokens em um lote, o que dilui o impacto de erros de arredondamento distribuídos aleatoriamente – mas eles são altamente sensíveis ao viés de quantização, o desvio sistemático que ocorre quando os valores são arredondados consistentemente em uma direção. Ao contrário do ruído aleatório, esse viés pode se acumular em camadas, amostras e etapas de treinamento.

A empresa diz que administrou essas compensações enquanto treinava o Inkling 2 Small, o modelo de mistura de especialistas de peso aberto lançado no início deste mês sob uma licença Apache 2.0. A postagem não afirma que cada parte da execução foi executada em 4 bits; em vez disso, descreve uma estratégia ponta a ponta na qual a precisão de cada componente é escolhida deliberadamente, em vez de herdada por padrão.

Por que o treinamento de baixa precisão é importante

A economia aqui é direta. A computação é o custo dominante no desenvolvimento de modelos de ponta, e os fornecedores de hardware têm corrido para adicionar aceleração de baixa precisão a cada nova geração de chips. A Nvidia posicionou o suporte NVFP4 em sua plataforma Blackwell Ultra como um recurso principal, e aceleradores rivais da AMD, Google e outros anunciam seus próprios formatos de precisão reduzida.

Se os laboratórios de pesquisa puderem direcionar com segurança mais pipeline de treinamento para a aritmética de 4 bits, o mesmo orçamento de hardware comprará mais experimentos, mais tokens ou modelos maiores. Esta é uma vantagem significativa num mercado onde o acesso a aceleradores de última geração é escasso e caro. Também se soma ao impulso mais amplo da indústria em direção a técnicas de eficiência, como a inferência consciente da quantização e a decodificação especulativa, ambas as quais extraem mais capacidade do hardware fixo.

A postagem também é um sinal de onde a comunidade de pesquisa está caminhando. O treinamento de baixa precisão foi considerado por muito tempo arriscado demais para qualquer coisa além da inferência, porque se presumia que erros de arredondamento corrompiam o aprendizado. Uma análise cuidadosa etapa por etapa – como aquela publicada pela Thinking Machines – é como essa suposição é testada e, sempre que possível, derrubada.

Da postagem do blog aos pesos abertos

O que torna a divulgação notável é que ela não é puramente teórica. A empresa vinculou a técnica diretamente a um modelo que realmente vendeu. Inkling 2 Small foi lançado com pesos para download no início de novembro, e a nova postagem explica a estratégia numérica por trás de seu treinamento. Os profissionais que baixam o modelo estão, na verdade, obtendo um artefato funcional da metodologia de baixa precisão que a empresa descreve.

Thinking Machines tem sido incomumente aberto para um laboratório em escala de fronteira, publicando postagens técnicas em blogs junto com o lançamento de seus modelos. Essa transparência dá aos pesquisadores externos algo raro: um relato documentado e reproduzível de como um treinamento moderno lida com as confusas realidades numéricas da aritmética de precisão mista.

Para a indústria em geral, a mensagem é que o treinamento em 4 bits passou da curiosidade pela pesquisa para a técnica de produção. À medida que mais laboratórios adotam estratégias semelhantes, a lacuna entre o desempenho máximo teórico do hardware e o rendimento do treinamento realizado diminuirá – e o custo dos modelos capazes de treinar continuará a cair.

Fique à frente da IA

As técnicas por trás dos modelos de fronteira evoluem semanalmente. Siga AI Buzz Wire para obter relatórios claros e originais sobre a pesquisa que molda o campo.

Leia mais notícias sobre IA →