Ett forskningslabb med två personer har tränat en text-till-bild-modell för ungefär $21 000 - och släppt den under en helt tillåtande licens. Linum, grundat av medcheferna Sahil Chopra och Manu Chopra, publicerade resultaten den 4 november i ett inlägg om tekniska fältanteckningar, som beskriver en 2-miljarder-parameter Pixel-JiT (P-JiT) modell utbildad på 660 miljoner prover som ett proof-of-concept på vägen mot större videomodeller. Både modellkoden och vikterna är tillgängliga under Apache 2.0, en licens som tillåter kommersiell användning utan begränsningar. Det är en slående datapunkt i debatten om hur mycket AI-forskning av gränsöverskridande kvalitet faktiskt kostar, ett ämne som vi följer i vår AI-forskningsbevakning.

Varför hoppa över VAE?

De flesta moderna bildgenererande pipelines komprimerar bilder med en separat variationsautokodare (VAE): VAE klämmer ihop en bild i ett kompakt latent utrymme och en diffusionsmodell genererar inuti det komprimerade utrymmet. Linums team hävdar att denna arbetsfördelning har nått ett tak. I sin uppskrivning noterar de att VAE:er "tycks ha ett empiriskt tak för mängden kompression de kan uppnå", att att driva kompression ytterligare kräver betydande kirurgi till den traditionella arkitekturen, och att en förbättring av en VAE:s rekonstruktion faktiskt kan förvärra nedströms diffusionsmodellens generationer.

Deras svar är att ta bort VAE helt och hållet. P-JiT är en pixel-space-modell — diffusionsmodellen arbetar direkt på pixlar och lär sig en latent specialbyggd för sitt eget användningsfall, komprimerar och genererar samtidigt. Vadet är att en enda modelltränad från slut till ände kan pressa ut mer ur samma dator än en hand-off mellan två specialiserade nätverk.

Den tekniska utdelningen

Arkitekturens namn hänvisar till dess pyramidformade tokenisering. Där de flesta nuvarande modeller – Linum nämner FLUX-2 som ett typiskt exempel – använder en 16×16 token-reduktion, uppnår P-JiT en 32×32 token-reduktion, vilket representerar en 512×512-bild i tokenbudgeten som tidigare behövdes för en 256×256-bild. Det översätts till en 4× minskning av uppmärksamhetskontextfönstret, och uppmärksamhet är just O(n²) flaskhalsen som gör både träning och slutledning dyrt för generativ video.

Resultaten, av teamets egna mätningar: P-JiT konvergerar i 11× färre prov än Linum v2, labbets tidigare modell byggd på det mer standardiserade Wan VAE plus DiT diffusionsreceptet. Runt 21 000 $ - 660 miljoner träningsprover - producerade en modell som teamet beskriver som förvånansvärt kompetent med tanke på dess storlek.

Vad köper 21 000 USD

Utgåvan innehåller 249 exempelbilder med deras uppmaningar, som spänner över människor (57), djur (42), byggnader (20), produkter (43), landskap (19) och stiliserade renderingar (68). Teamet är ärligt när det gäller positionering: detta är en "experimentell release" och en "språngbräda" mot sitt verkliga mål, en videomodell. Proverna visar att arkitekturen tränar stabilt och producerar sammanhängande bilder till en bråkdel av konventionella utbildningsbudgetar, inte att den matchar gränsbildsmodeller på kvalitet.

Skrivningen är också anmärkningsvärd för hur teamet dokumenterar fellägen tillsammans med resultat. De räknar upp sin modells begränsningar direkt i fältanteckningarna istället för att begrava dem, en allt vanligare praxis bland mindre labb vars rykte beror på trovärdighet snarare än marknadsföringsbudgetar. Inlägget är det fjärde inlägget i teamets "Road to Linum v3"-serie, som bygger på en tidigare iteration där P-JiT-arkitekturen först beskrevs - en löpande teknisk logg som låter utomstående forskare följa varje designbeslut, inklusive de som inte fungerade.

För sammanhang om kostnadssiffran: Linums $21 000 täckte beräkningen för en träningskörning på 660 miljoner prov av 2B-parametermodellen. Det är inte direkt jämförbart med frontier-lab-budgetar, som sträcker sig över datainsamling, bemanning och experiment under många avbrutna körningar. Vad det fastställer är marginalkostnaden för en framgångsrik, öppet dokumenterad utbildningskörning - ett antal enskilda forskare och universitetslabb kan nu realistiskt planera runt.

Linums uttalade ambition är kreativa verktyg som demokratiserar tillgången till animation. Teamets kritik av dagens generativa video är att den är för långsam och dyr och saknar finkorniga kontroller - en kombination som de hävdar gör den "effektivt värdelös för storytelling", eftersom kreativt arbete är i sig iterativt: du gör, du justerar, du blir bättre. Billigare träning och snabbare slutledning är, i sin inramning, förutsättningen för videogenerering som faktiskt passar ett redigeringsarbetsflöde.

Små laboratorier, stora signaler

Ekonomin som visas här är viktigare än en startup. Utbildningskörningar som en gång definierade fältets gräns – mätt i miljontals dollar – matchas nu, inom smala domäner, av team om två som spenderar mindre än en typisk senior ingenjörs årslön. Open-weights releaser i denna skala ger oberoende forskare möjligheten att granska, finjustera och bygga på produktionskvalitetsarkitekturer utan institutionellt stöd.

Förbehållen är rättvisa att säga: en 2B-text-till-bild-modell är långt ifrån gränsen för bildkvalitet, och Linums konvergenspåståenden är självrapporterade snarare än självständigt benchmarkerade. Men utgåvan är fullt reproducerbar - kod och vikter under Apache 2.0 - vilket innebär att alla skeptiska kan mäta anspråken direkt. Det, mer än något enskilt riktmärke, är det som gör små labbutgåvor som den här värda att titta på: beviset är nedladdningsbart.

Ligg före AI

Forskning som en gång krävde ett företagslabb får nu plats på ett kreditkort. Spåra varje genombrott i våra AI-forskningsnyheter.

Läs mer AI-nyheter →