No momento em que os laboratórios de fronteira estão correndo para construir modelos de trilhões de parâmetros que preencham os data centers, um desenvolvedor foi totalmente na direção oposta: um modelo funcional de linguagem de resposta a perguntas que cabe em um único disquete dos anos 1980 e roda em uma CPU com idade suficiente para ser enviada dentro de um 486DX.
O projeto, chamado Tiny 2.1, foi descoberto pela Hackaday e adquirido esta semana pela Futurism e Tom's Hardware. De acordo com a página do projeto GitHub, o modelo inteiro pesa cerca de 380 KB de pesos de 8 bits – pequeno o suficiente para caber confortavelmente em um disquete formatado em MS-DOS – e precisa de apenas 540 KB de memória para funcionar. Hardware do Tom relata que ele até fala suas respostas através do humilde alto-falante do PC. Se você gosta de histórias sobre expectativas que superam a IA, nossos últimos desenvolvimentos de IA cobrem tudo, desde inferência de borda até sistemas de fronteira de trilhões de parâmetros.
Um transformador de resposta a perguntas com 367.000 parâmetros
Tiny 2.1 é uma arquitetura de transformador pequeno com aproximadamente 367.000 parâmetros – uma fração do tamanho dos modelos “leves” que normalmente medem na casa dos bilhões. Ele foi escrito em Turbo C 2.0 e roda em MS-DOS, o sistema operacional que dominou a computação pessoal na década de 1980 e início de 1990, visando máquinas tão antigas quanto o Intel 486DX e as primeiras gerações do Pentium.
Seus dados de treinamento são correspondentemente pequenos: apenas 3.500 fatos. Essa restrição define a experiência de usá-lo. Em uma captura de tela compartilhada na página do projeto, o modelo responde corretamente que as baleias são mamíferos e não peixes e credita corretamente a Alexander Graham Bell a invenção do telefone. Porém, solicitado a calcular 17 vezes 23, ele responde “96”. E questionado sobre quem é o rei da França, ele responde com segurança: “Foi Antárcio Newton” – com um nível de confiança de 100 por cento.
Não espere um desempenho semelhante ao de Claude
Como o Futurismo observa sem rodeios, o modelo “inventa respostas praticamente o tempo todo”, porque simplesmente não sabe muito sobre o mundo. Não há camada de recuperação, uso de ferramentas, pesquisa na web – apenas uma rede neural compacta e quaisquer padrões que ela absorveu de seu conjunto de treinamento de 3.500 fatos.
O que torna o projeto notável é menos o que o modelo pode fazer do que o que a sua existência demonstra. A inferência moderna do LLM está associada a gigabytes de memória, aceleração de GPU e quilowatts de potência. Em vez disso, o Tiny 2.1 prova o conceito de que um transformador pode produzir interação estruturada de perguntas e respostas em hardware sem nenhuma unidade de ponto flutuante digna de menção, sem requisitos de disco rígido além de um disquete e um caminho de saída de áudio tão primitivo quanto um alto-falante da placa-mãe.
IA construída com IA
Há também uma meta reviravolta. De acordo com a página do projeto, o desenvolvedor não escreveu todas as linhas à mão: eles usaram o Fable 5.2 da Anthropic para ajudar a escrever o código do modelo e o Opus 5.5 para apoiar o processo de treinamento. Em outras palavras, um modelo pequeno o suficiente para caber em um disquete foi criado e treinado com a ajuda de sistemas de IA em escala de fronteira – um pequeno descendente de pais muito grandes.
Esse fluxo de trabalho reflete uma tendência mais ampla na engenharia de IA, onde grandes modelos geram, depuram e otimizam cada vez mais os sistemas que são executados em hardware muito menor. O mesmo padrão aparece nas modernas cadeias de ferramentas de IA de ponta, onde modelos em escala de nuvem ajudam a compactar e quantizar redes para telefones, microcontroladores e dispositivos incorporados.
Por que modelos minúsculos são importantes
O Tiny 2.1 não ameaçará nenhum chatbot comercial. Mas projetos como esse servem como um lembrete útil de quão longe chegou a compressão de modelos – e até que ponto o inchaço é uma escolha e não uma necessidade. Os entusiastas da retrocomputação passaram anos demonstrando que hardware com décadas de idade continua capaz de realizar trabalhos surpreendentes, desde Amigas com capacidade de navegador até máquinas de 8 bits em rede. Um modelo de linguagem que se junte a essa linhagem é o primeiro e divertido.
As restrições de engenharia que moldaram o Tiny 2.1 também são um curso intensivo de eficiência. Um formato de peso de 8 bits, um vocabulário e uma arquitetura dimensionados para a tarefa e um caminho de saída projetado de acordo com as limitações de hardware resultam em um sistema onde cada kilobyte é contabilizado. Compare isso com as implantações convencionais, onde quantização, remoção e destilação são correções retroativas aplicadas a modelos construídos em escala muito maior – e onde uma única sessão de bate-papo pode consumir mais memória do que todo o tempo de execução do Tiny 2.1 precisa, pesos incluídos.
Também chega a um momento de verdadeiro escrutínio ambiental em torno do apetite de poder da IA, com investigadores e reguladores cada vez mais concentrados no custo energético da formação e inferência em grande escala, e nas lutas pela localização de centros de dados a decorrer nos Estados Unidos. Um modelo que funciona com 540 KB de memória e uma fonte de alimentação dos anos 80 não é uma solução para esse problema – mas é uma ilustração vívida do outro extremo do espectro: inferência com uma pegada medida em watts, não em megawatts. Os leitores que acompanham até que ponto o campo se estende, desde disquetes até campi de gigawatts, podem encontrar os dois extremos em nossas notícias de última hora sobre IA.
Por enquanto, o criador do Tiny 2.1 pode reivindicar uma conquista genuinamente rara: uma rede neural que você pode instalar a partir do mesmo meio usado para salvar um documento de processador de texto, em uma máquina anterior à web. Tem alucinações constantes, cita erroneamente a identidade da realeza francesa com total confiança e não consegue multiplicar números de dois dígitos de forma confiável. Ele também roda inteiramente em um disquete.
Fique à frente da IA
De modelos de disquetes a laboratórios de ponta, rastreamos tudo. Leia mais notícias sobre IA →
