Un laboratorio di ricerca composto da due persone ha addestrato un modello text-to-image per circa $ 21.000 e lo ha rilasciato con una licenza completamente permissiva. Linum, fondata dai co-CEO Sahil Chopra e Manu Chopra, ha pubblicato i risultati il ​​4 novembre in un post di note tecniche sul campo, descrivendo in dettaglio un modello Pixel-JiT (P-JiT) da 2 miliardi di parametri addestrato su 660 milioni di campioni come prova di concetto sulla strada verso modelli video più grandi. Sia il codice del modello che i pesi sono disponibili con Apache 2.0, una licenza che ne consente l'uso commerciale senza restrizioni. Si tratta di un dato sorprendente nel dibattito su quanto costa effettivamente la ricerca sull’intelligenza artificiale di qualità di frontiera, un argomento che seguiamo nella nostra [copertura della ricerca sull’intelligenza artificiale] (https://aibuzzwire.news).

Perché saltare la VAE?

La maggior parte delle moderne pipeline di generazione di immagini comprimono le immagini utilizzando un autoencoder variazionale (VAE) separato: il VAE comprime un'immagine in uno spazio latente compatto e un modello di diffusione viene generato all'interno di quello spazio compresso. Il team di Linum sostiene che questa divisione del lavoro ha raggiunto un limite. Nel loro articolo, notano che i VAE "sembrano avere un tetto empirico sulla quantità di compressione che possono raggiungere", che spingere ulteriormente la compressione richiede un intervento chirurgico sostanziale all'architettura tradizionale e che migliorare la ricostruzione di un VAE può effettivamente peggiorare le generazioni del modello di diffusione a valle.

La loro risposta è rimuovere del tutto la VAE. P-JiT è un modello pixel-space: il modello di diffusione opera direttamente sui pixel e apprende un valore latente creato appositamente per il proprio caso d'uso, comprimendo e generando allo stesso tempo. La scommessa è che un singolo modello addestrato end-to-end può ottenere di più dallo stesso calcolo rispetto a un trasferimento tra due reti specializzate.

Il profitto tecnico

Il nome dell'architettura si riferisce alla sua tokenizzazione a forma di piramide. Laddove la maggior parte dei modelli attuali (Linum cita FLUX-2 come esempio tipico) utilizza una riduzione di token 16×16, P-JiT ottiene una riduzione di token 32×32, che rappresenta un'immagine 512×512 nel budget di token precedentemente necessario per un'immagine 256×256. Ciò si traduce in una riduzione di 4 volte della finestra del contesto di attenzione, e l'attenzione è proprio il collo di bottiglia O(n²) che rende costosi sia l'addestramento che l'inferenza per i video generativi.

I risultati, in base alle misurazioni effettuate dal team: P-JiT converge in 11 volte meno campioni rispetto a Linum v2, il modello precedente del laboratorio basato sulla ricetta di diffusione Wan VAE più DiT più standard. La corsa da 21.000 dollari – 660 milioni di campioni di formazione – ha prodotto un modello che il team descrive come sorprendentemente competente date le sue dimensioni.

Cosa si compra con $ 21.000

La versione include 249 immagini campione con i relativi suggerimenti, che abbracciano persone (57), animali (42), edifici (20), prodotti (43), paesaggi (19) e rendering stilizzati (68). Il team è sincero riguardo al posizionamento: si tratta di una "versione sperimentale" e di un "trampolino di lancio" verso il loro vero obiettivo, un modello video. I campioni dimostrano che l'architettura si addestra in modo stabile e produce immagini coerenti con una frazione dei budget di formazione convenzionali, non che corrisponda ai modelli di immagine di frontiera in termini di qualità.

L'articolo è degno di nota anche per il modo in cui il team documenta le modalità di fallimento insieme ai risultati. Enumerano i limiti del loro modello direttamente nelle note sul campo invece di seppellirli, una pratica sempre più comune tra i laboratori più piccoli la cui reputazione dipende dalla credibilità piuttosto che dai budget di marketing. Il post è il quarto articolo della serie "Road to Linum v3" del team, basato su un'iterazione precedente in cui l'architettura P-JiT è stata descritta per la prima volta: un registro tecnico in esecuzione che consente ai ricercatori esterni di seguire ogni decisione di progettazione, comprese quelle che non hanno funzionato.

Per contestualizzare la cifra dei costi: i 21.000 dollari di Linum hanno coperto il calcolo per un'esecuzione di addestramento di 660 milioni di campioni del modello con parametri 2B. Ciò non è direttamente paragonabile ai budget dei laboratori di frontiera, che comprendono l’acquisizione dei dati, il personale e la sperimentazione su molte prove interrotte. Ciò che stabilisce è il costo marginale di un percorso formativo di successo e apertamente documentato: un numero che singoli ricercatori e laboratori universitari possono ora realisticamente pianificare.

L'ambizione dichiarata di Linum è quella di strumenti creativi che democratizzino l'accesso all'animazione. La critica del team al video generativo di oggi è che è troppo lento e costoso e manca di controlli dettagliati: una combinazione che, secondo loro, lo rende "effettivamente inutile per la narrazione", poiché il lavoro creativo è intrinsecamente iterativo: fai, modifichi, migliori. Una formazione più economica e un'inferenza più rapida sono, nella loro definizione, il presupposto per la generazione di video che si adatti effettivamente a un flusso di lavoro di editing.

Piccoli laboratori, grandi segnali

Gli aspetti economici qui esposti contano al di là di una singola startup. I corsi di formazione che un tempo definivano la frontiera del settore – misurati in milioni di dollari – vengono ora abbinati, in ambiti ristretti, a team di due persone che spendono meno del tipico stipendio annuale di un ingegnere senior. I rilasci open-weights su questa scala offrono ai ricercatori indipendenti la capacità di verificare, mettere a punto e sviluppare architetture di livello produttivo senza supporto istituzionale.

Le avvertenze sono giuste da affermare: un modello da testo a immagine 2B è lontano dalla frontiera della qualità dell'immagine e le affermazioni di convergenza di Linum sono auto-riportate piuttosto che confrontate in modo indipendente. Ma il rilascio è completamente riproducibile – codice e pesi sotto Apache 2.0 – il che significa che chiunque sia scettico può misurare direttamente le affermazioni. Questo, più di ogni singolo benchmark, è ciò che rende vale la pena guardare le versioni di piccoli laboratori come questa: la prova è scaricabile.

Stai al passo con l'intelligenza artificiale

La ricerca che una volta richiedeva un laboratorio aziendale ora può essere portata su una carta di credito. Tieni traccia di ogni innovazione nelle nostre notizie sulla ricerca sull'intelligenza artificiale.

Leggi altre notizie sull'AI →