Un laboratorio de investigación formado por dos personas ha entrenado un modelo de conversión de texto a imagen por aproximadamente 21.000 dólares y lo ha lanzado bajo una licencia totalmente permisiva. Linum, fundada por los codirectores ejecutivos Sahil Chopra y Manu Chopra, publicó los resultados el 4 de noviembre en una publicación de notas de campo técnicas, detallando un modelo Pixel-JiT (P-JiT) de 2 mil millones de parámetros entrenado en 660 millones de muestras como prueba de concepto en el camino hacia modelos de video más grandes. Tanto el código del modelo como los pesos están disponibles bajo Apache 2.0, una licencia que permite el uso comercial sin restricciones. Es un dato sorprendente en el debate sobre cuánto cuesta realmente la investigación de IA de calidad de vanguardia, un tema que seguimos en nuestra [cobertura de investigación de IA] (https://aibuzzwire.news).

¿Por qué saltarse el VAE?

La mayoría de los canales de generación de imágenes modernos comprimen imágenes usando un codificador automático variacional (VAE) separado: el VAE comprime una imagen en un espacio latente compacto y se genera un modelo de difusión dentro de ese espacio comprimido. El equipo de Linum sostiene que esta división del trabajo ha tocado techo. En su artículo, señalan que los VAE "parecen tener un límite empírico en la cantidad de compresión que pueden lograr", que impulsar aún más la compresión requiere una cirugía sustancial en la arquitectura tradicional y que mejorar la reconstrucción de un VAE puede en realidad empeorar las generaciones del modelo de difusión posterior.

Su respuesta es eliminar el VAE por completo. P-JiT es un modelo de espacio de píxeles: el modelo de difusión opera directamente en píxeles y aprende un latente diseñado específicamente para su propio caso de uso, comprimiéndolo y generándolo al mismo tiempo. La apuesta es que un único modelo entrenado de extremo a extremo puede sacar más provecho del mismo cómputo que una transferencia entre dos redes especializadas.

La recompensa técnica

El nombre de la arquitectura se refiere a su tokenización en forma de pirámide. Mientras que la mayoría de los modelos actuales (Linum cita FLUX-2 como ejemplo típico) utilizan una reducción de token de 16×16, P-JiT logra una reducción de token de 32×32, lo que representa una imagen de 512×512 en el presupuesto de token que antes se necesitaba para una imagen de 256×256. Esto se traduce en una reducción de 4 veces en la ventana de contexto de atención, y la atención es precisamente el cuello de botella O(n²) que hace que tanto el entrenamiento como la inferencia sean costosos para el video generativo.

Los resultados, según las propias mediciones del equipo: P-JiT converge en 11 veces menos muestras que Linum v2, el modelo anterior del laboratorio basado en la receta de difusión más estándar Wan VAE plus DiT. La ejecución de 21.000 dólares (660 millones de muestras de entrenamiento) produjo un modelo que el equipo describe como sorprendentemente competente dado su tamaño.

Qué se compra con 21.000 dólares

El lanzamiento incluye 249 imágenes de muestra con sus indicaciones, que abarcan personas (57), animales (42), edificios (20), productos (43), paisajes (19) y renderizados estilizados (68). El equipo es sincero sobre el posicionamiento: se trata de un "lanzamiento experimental" y un "trampolín" hacia su objetivo real, un modelo de vídeo. Las muestras demuestran que la arquitectura se entrena de manera estable y produce imágenes coherentes con una fracción de los presupuestos de capacitación convencionales, no que coincida con los modelos de imágenes de vanguardia en calidad.

El artículo también destaca por la forma en que el equipo documenta los modos de falla junto con los resultados. Enumeran las limitaciones de su modelo directamente en las notas de campo en lugar de enterrarlas, una práctica cada vez más común entre los laboratorios más pequeños cuyas reputaciones dependen de la credibilidad más que de los presupuestos de marketing. La publicación es la cuarta entrada en la serie "Road to Linum v3" del equipo, basada en una iteración anterior donde se describió por primera vez la arquitectura P-JiT: un registro técnico en ejecución que permite a los investigadores externos seguir cada decisión de diseño, incluidas las que no funcionaron.

Para contextualizar la cifra de costos: los $ 21 mil de Linum cubrieron el cálculo para una ejecución de entrenamiento de 660 millones de muestras del modelo de parámetros 2B. Esto no es directamente comparable a los presupuestos de los laboratorios de vanguardia, que abarcan la adquisición de datos, la dotación de personal y la experimentación a lo largo de muchas pruebas abortadas. Lo que sí establece es el costo marginal de una ejecución de capacitación exitosa y abiertamente documentada: una cantidad de investigadores individuales y laboratorios universitarios que ahora pueden planificar de manera realista.

La ambición declarada de Linum es herramientas creativas que democraticen el acceso a la animación. La crítica del equipo al video generativo actual es que es demasiado lento y costoso, y carece de controles detallados; una combinación que, según ellos, lo vuelve "efectivamente inútil para contar historias", ya que el trabajo creativo es inherentemente iterativo: haces, modificas, mejoras. Una formación más barata y una inferencia más rápida son, en su encuadre, la condición previa para una generación de vídeo que realmente se ajuste a un flujo de trabajo de edición.

Pequeños laboratorios, grandes señales

La economía que se muestra aquí importa más allá de una startup. Las sesiones de capacitación que alguna vez definieron la frontera del campo (medidas en millones de dólares) ahora están siendo igualadas, en dominios limitados, por equipos de dos personas que gastan menos que el salario anual típico de un ingeniero senior. Los lanzamientos de peso abierto a esta escala brindan a los investigadores independientes la capacidad de auditar, ajustar y construir arquitecturas de nivel de producción sin respaldo institucional.

Es justo hacer las advertencias: un modelo 2B de texto a imagen está lejos de la frontera de la calidad de imagen, y las afirmaciones de convergencia de Linum son autoinformadas en lugar de comparadas de forma independiente. Pero la versión es totalmente reproducible (código y pesos bajo Apache 2.0), lo que significa que cualquiera que sea escéptico puede medir las afirmaciones directamente. Eso, más que cualquier punto de referencia, es lo que hace que valga la pena ver lanzamientos de laboratorios pequeños como este: la prueba se puede descargar.

Manténgase por delante de la IA

La investigación que alguna vez requirió un laboratorio corporativo ahora cabe en una tarjeta de crédito. Realice un seguimiento de cada avance en nuestras [noticias de investigación de IA] (https://aibuzzwire.news).

Leer más noticias sobre IA →