Laboratório de duas pessoas Linum treina modelo de texto para imagem por US$ 21 mil e lança pesos no Apache 2.0

Um laboratório de pesquisa composto por duas pessoas treinou um modelo de conversão de texto em imagem por aproximadamente US$ 21 mil — e o lançou sob uma licença totalmente permissiva. Linum, fundada pelos co-CEOs Sahil Chopra e Manu Chopra, publicou os resultados em 4 de novembro em uma postagem técnica de notas de campo, detalhando um modelo Pixel-JiT (P-JiT) de 2 bilhões de parâmetros treinado em 660 milhões de amostras como uma prova de conceito no caminho para modelos de vídeo maiores. Tanto o código do modelo quanto os pesos estão disponíveis no Apache 2.0, uma licença que permite o uso comercial sem restrições. É um dado impressionante no debate sobre quanto custa realmente a investigação em IA de qualidade fronteiriça, um tópico que acompanhamos na nossa cobertura de investigação em IA.

Por que ignorar o VAE?

A maioria dos pipelines modernos de geração de imagens compacta imagens usando um autoencoder variacional (VAE) separado: o VAE comprime uma imagem em um espaço latente compacto e um modelo de difusão é gerado dentro desse espaço compactado. A equipe de Linum argumenta que esta divisão do trabalho atingiu o limite. Em seu artigo, eles observam que os VAEs “parecem ter um limite empírico para a quantidade de compressão que podem alcançar”, que aumentar ainda mais a compressão requer uma cirurgia substancial na arquitetura tradicional e que melhorar a reconstrução de um VAE pode, na verdade, piorar as gerações do modelo de difusão a jusante.

A resposta deles é remover completamente o VAE. P-JiT é um modelo de espaço de pixel — o modelo de difusão opera diretamente em pixels e aprende um propósito latente criado para seu próprio caso de uso, compactando e gerando ao mesmo tempo. A aposta é que um único modelo treinado de ponta a ponta pode extrair mais do mesmo cálculo do que uma transferência entre duas redes especializadas.

A recompensa técnica

O nome da arquitetura refere-se à sua tokenização em forma de pirâmide. Enquanto a maioria dos modelos atuais – Linum cita FLUX-2 como exemplo típico – usa uma redução de token de 16×16, o P-JiT atinge uma redução de 32×32 token, representando uma imagem de 512×512 no orçamento de token anteriormente necessário para uma imagem de 256×256. Isso se traduz em uma redução de 4× na janela de contexto de atenção, e a atenção é precisamente o gargalo O(n²) que torna caro o treinamento e a inferência para vídeo generativo.

Os resultados, pelas medições da própria equipe: P-JiT converge em 11× menos amostras do que Linum v2, o modelo anterior do laboratório construído com base na receita de difusão Wan VAE mais DiT mais padrão. A execução de US$ 21 mil – 660 milhões de amostras de treinamento – produziu um modelo que a equipe descreve como surpreendentemente competente, dado seu tamanho.

O que $ 21 mil compra

O lançamento inclui 249 imagens de amostra com seus prompts, abrangendo pessoas (57), animais (42), edifícios (20), produtos (43), paisagens (19) e renderizações estilizadas (68). A equipe é sincera quanto ao posicionamento: este é um “lançamento experimental” e um “trampolim” em direção ao seu alvo real, um modelo de vídeo. As amostras demonstram que a arquitetura treina de forma estável e produz imagens coerentes com uma fração dos orçamentos de treinamento convencionais, não que corresponda aos modelos de imagem de fronteira em qualidade.

O artigo também é notável pela forma como a equipe documenta os modos de falha juntamente com os resultados. Eles enumeram as limitações do seu modelo diretamente nas notas de campo, em vez de enterrá-las, uma prática cada vez mais comum entre laboratórios menores, cujas reputações dependem da credibilidade e não de orçamentos de marketing. A postagem é a quarta entrada na série “Road to Linum v3” da equipe, com base em uma iteração anterior onde a arquitetura P-JiT foi descrita pela primeira vez – um registro técnico em execução que permite que pesquisadores externos sigam cada decisão de design, incluindo aquelas que não funcionaram.

Para contextualizar o valor do custo: os US$ 21 mil da Linum cobriram o cálculo para uma execução de treinamento de 660 milhões de amostras do modelo de parâmetros 2B. Isso não é diretamente comparável aos orçamentos dos laboratórios de fronteira, que abrangem aquisição de dados, pessoal e experimentação ao longo de muitas execuções abortadas. O que ele estabelece é o custo marginal de uma execução de treinamento bem-sucedida e abertamente documentada – vários pesquisadores individuais e laboratórios universitários podem agora planejar de forma realista.

A ambição declarada de Linum é ferramentas criativas que democratizem o acesso à animação. A crítica da equipe ao vídeo generativo de hoje é que ele é muito lento e caro, e carece de controles refinados – uma combinação que eles argumentam que o torna “efetivamente inútil para contar histórias”, uma vez que o trabalho criativo é inerentemente iterativo: você faz, você ajusta, você fica melhor. Treinamento mais barato e inferência mais rápida são, em seu enquadramento, a pré-condição para a geração de vídeo que realmente se adapta a um fluxo de trabalho de edição.

Pequenos laboratórios, grandes sinais

A economia mostrada aqui importa além de uma startup. Os treinamentos que antes definiam a fronteira do campo - medidos em milhões de dólares - estão agora sendo acompanhados, em domínios restritos, por equipes de dois que gastam menos do que o salário anual típico de um engenheiro sênior. Os lançamentos de peso aberto nesta escala dão aos pesquisadores independentes a capacidade de auditar, ajustar e desenvolver arquiteturas de nível de produção sem apoio institucional.

As advertências são justas: um modelo de texto para imagem 2B está longe da fronteira da qualidade de imagem, e as reivindicações de convergência de Linum são auto-relatadas, em vez de avaliadas de forma independente. Mas o lançamento é totalmente reproduzível – código e pesos no Apache 2.0 – o que significa que qualquer pessoa cética pode medir as afirmações diretamente. Isso, mais do que qualquer benchmark, é o que faz com que valha a pena assistir a lançamentos de pequenos laboratórios como este: a prova pode ser baixada.

Fique à frente da IA

Pesquisas que antes exigiam um laboratório corporativo agora cabem no cartão de crédito. Acompanhe cada avanço em nossas notícias de pesquisa de IA.

Leia mais notícias sobre IA →