Um modelo de linguagem com 28,9 milhões de parâmetros agora é executado em um microcontrolador de US$ 8

Um projeto de código aberto comprimiu um modelo de linguagem de 28,9 milhões de parâmetros em um microcontrolador que custa cerca de US$ 8, gerando texto inteiramente no chip a cerca de nove tokens por segundo, sem nenhuma conexão de rede. A demonstração, publicada no GitHub e subindo rapidamente na primeira página do Hacker News, mostra o quão longe a fronteira da pequena IA local avançou em apenas um curto espaço de tempo.

O trabalho se concentra no ESP32-S3, um chip integrado barato, popular entre amadores e fabricantes de hardware. Executar um modelo de 28,9 milhões de parâmetros em um pedaço de silício tão pequeno teria parecido implausível não muito tempo atrás, e o projeto oferece uma ilustração vívida do impulso mais amplo em direção à IA no dispositivo que acompanhamos em nossa cobertura diária da indústria de IA. Onde a nuvem antes parecia obrigatória para qualquer modelo de linguagem real, sistemas cada vez mais capazes estão encontrando lares na borda.

Os números por trás da construção

O projeto apresenta suas especificações claramente. O modelo armazena 28,9 milhões de parâmetros, dos quais cerca de 25 milhões residem em uma tabela de pesquisa flash. Ele roda em um chip ESP32-S3 com 512 KB de SRAM rápida, 8 MB de PSRAM e 16 MB de armazenamento flash. Na prática, atinge cerca de 9,5 tokens por segundo de ponta a ponta, ou 9,7 tokens por segundo de computação pura, e todo o modelo ocupa apenas 14,9 megabytes quando armazenado com precisão de 4 bits.

O mais impressionante é a comparação que o autor faz com trabalhos anteriores. O último modelo de linguagem rodado em um chip desta classe continha apenas 260.000 parâmetros. A nova construção comporta cerca de cem vezes mais, um salto que não vem de um chip maior, mas de repensar onde os dados do modelo realmente residem.

Um truque de memória emprestado de Gemma

O principal problema é que um microcontrolador quase não possui memória rápida. O ESP32-S3 oferece apenas 512 KB de SRAM e, convencionalmente, todo o modelo precisaria ser acessível a partir daí, razão pela qual as tentativas anteriores ficaram presas em algumas centenas de milhares de parâmetros.

A solução alternativa baseia-se em uma simples observação. A maioria dos parâmetros de um modelo de linguagem fica em uma tabela de incorporação, da qual o modelo lê em vez de calcular. Portanto, em vez de forçar aquela enorme tabela de 25 milhões de linhas em uma memória rápida e escassa, o projeto a deixa em um armazenamento flash lento e extrai apenas o punhado de linhas que cada token realmente precisa, cerca de 450 bytes por vez. A pequena parte do modelo que realiza o cálculo real permanece na memória rápida, enquanto a maior parte dos pesos simplesmente espera no flash, amostrados um pouco de cada vez.

Essa técnica é conhecida como Per-Layer Embeddings e se originou com os modelos Gemma do Google, especificamente Gemma 3n e Gemma 4, onde foi projetada para telefones e GPUs. Segundo o autor do projeto, ninguém havia tentado a abordagem anteriormente em um chip tão pequeno.

O que pode fazer e o que não pode

O modelo foi treinado em TinyStories, um conjunto de dados de histórias infantis simples, portanto suas habilidades são deliberadamente limitadas. Ele escreve histórias curtas e em sua maioria coerentes, mas não responde a questões factuais, não segue instruções complexas, não escreve códigos ou raciocina sobre o mundo. O autor é sincero ao afirmar que esta limitação decorre da pequena parte de raciocínio do modelo e que o truque da memória não a altera.

O que torna o projeto interessante não é, portanto, a qualidade do resultado, mas a arquitetura. A conquista é encaixar um modelo tão grande em um chip tão pequeno, provando que as mesmas técnicas que alimentam modelos eficientes em telefones e servidores podem ser aplicadas em hardware que custa menos que um sanduíche.

Por que a IA no dispositivo é importante

As implicações vão muito além de uma simples demonstração técnica. Como o modelo funciona inteiramente no chip, nada é enviado a um servidor. Isso significa privacidade total durante a construção, nenhum dado sai do dispositivo e não há conta de nuvem a pagar. Para aplicações em áreas remotas, dispositivos de baixo consumo de energia ou ambientes onde a conectividade não é confiável, essa combinação é genuinamente útil.

Também aponta para um futuro em que modelos pequenos e especializados serão distribuídos por milhares de milhões de dispositivos incorporados baratos, em vez de concentrados num punhado de centros de dados gigantes. As mesmas pressões que impulsionam o interesse na IA local em computadores portáteis e telefones, nomeadamente menor latência, menor custo e maior privacidade, aplicam-se ainda mais fortemente à escala do microcontrolador.

Um convite aberto para mexer

O projeto foi lançado sob a licença permissiva do MIT, e o autor compartilhou o código completo no GitHub junto com documentação detalhada e resultados de benchmark. Essa abertura significa que outros desenvolvedores de hardware podem estudar a abordagem, adaptá-la a outros chips ou aumentar ainda mais a contagem de parâmetros.

Lançado sob o nome de slvDev, o trabalho repercutiu fortemente na comunidade de desenvolvedores, reunindo centenas de votos positivos no Hacker News e gerando discussões sobre o próximo destino da técnica. Se a tendência se mantiver, a linha entre um “modelo de linguagem” e um software embarcado comum está prestes a ficar muito mais tênue.

Fique à frente da IA

De chips de US$ 8 a data centers de bilhões de dólares, a questão de onde a IA funciona está se tornando tão importante quanto o que a IA pode fazer. A camada de hardware está evoluindo mais rápido do que a maioria das pessoas imagina, e os projetos que hoje parecem curiosidades muitas vezes definirão o mainstream de amanhã. Leia mais notícias sobre IA no AI Buzz Wire para acompanhar cada avanço em computação de ponta, eficiência de modelo e inteligência no dispositivo.

Acompanhe a revolução do hardware de IA — visite AI Buzz Wire