Een onderzoekslaboratorium van twee personen heeft voor ongeveer $21.000 een tekst-naar-beeldmodel getraind en vrijgegeven onder een volledig tolerante licentie. Linum, opgericht door co-CEO's Sahil Chopra en Manu Chopra, publiceerde de resultaten op 4 november in een technische veldnotitie, waarin een Pixel-JiT (P-JiT)-model met 2 miljard parameters werd beschreven, getraind op 660 miljoen samples als proof-of-concept op weg naar grotere videomodellen. Zowel de modelcode als de gewichten zijn beschikbaar onder Apache 2.0, een licentie die commercieel gebruik zonder beperkingen toestaat. Het is een opvallend datapunt in het debat over hoeveel AI-onderzoek van grensverleggende kwaliteit daadwerkelijk kost, een onderwerp dat we volgen in onze [AI-onderzoeksverslaggeving] (https://aibuzzwire.new).

Waarom de VAE overslaan?

De meeste moderne pijplijnen voor het genereren van afbeeldingen comprimeren afbeeldingen met behulp van een afzonderlijke variationele auto-encoder (VAE): de VAE perst een afbeelding in een compacte latente ruimte, en binnen die gecomprimeerde ruimte wordt een diffusiemodel gegenereerd. Het team van Linum stelt dat deze taakverdeling een plafond heeft bereikt. In hun artikel merken ze op dat VAE's "een empirisch plafond lijken te hebben voor de hoeveelheid compressie die ze kunnen bereiken", dat het verder doorvoeren van compressie een substantiële operatie aan de traditionele architectuur vereist, en dat het verbeteren van de reconstructie van een VAE de generaties van het stroomafwaartse diffusiemodel feitelijk kan verslechteren.

Hun antwoord is om de VAE helemaal te verwijderen. P-JiT is een pixel-ruimtemodel — het diffusiemodel werkt rechtstreeks op pixels en leert een latente, speciaal voor zijn eigen gebruikssituatie gebouwde techniek, waarbij tegelijkertijd wordt gecomprimeerd en gegenereerd. De weddenschap is dat een enkel model dat end-to-end is getraind meer uit dezelfde computer kan halen dan een overdracht tussen twee gespecialiseerde netwerken.

De technische uitbetaling

De naam van de architectuur verwijst naar de piramidevormige tokenisatie. Waar de meeste huidige modellen – Linum noemt FLUX-2 als typisch voorbeeld – een tokenreductie van 16×16 gebruiken, bereikt P-JiT een 32×32 tokenreductie, wat neerkomt op een afbeelding van 512×512 in het tokenbudget dat voorheen nodig was voor een afbeelding van 256×256. Dat vertaalt zich in een 4× reductie van het aandachtscontextvenster, en aandacht is precies het O(n²)-knelpunt dat zowel training als gevolgtrekking duur maakt voor generatieve video.

De resultaten, gebaseerd op de eigen metingen van het team: P-JiT convergeert in 11x minder monsters dan Linum v2, het vorige model van het laboratorium, gebouwd op het meer standaard Wan VAE plus DiT-diffusierecept. De 21.000 dollar kostende run – 660 miljoen trainingsmonsters – leverde een model op dat het team als verrassend competent beschrijft gezien de omvang ervan.

Wat $ 21K koopt

De release bevat 249 voorbeeldafbeeldingen met bijbehorende aanwijzingen, van mensen (57), dieren (42), gebouwen (20), producten (43), landschappen (19) en gestileerde weergaven (68). Het team is openhartig over de positionering: dit is een ‘experimentele release’ en een ‘opstapje’ naar hun echte doel, een videomodel. De voorbeelden laten zien dat de architectuur stabiel traint en coherente beelden produceert tegen een fractie van de conventionele trainingsbudgetten, niet dat deze qua kwaliteit overeenkomt met grensverleggende beeldmodellen.

Het artikel is ook opmerkelijk vanwege de manier waarop het team naast de resultaten ook de faalwijzen documenteert. Ze sommen de beperkingen van hun model rechtstreeks op in de veldnotities in plaats van ze te begraven, een praktijk die steeds vaker voorkomt bij kleinere laboratoria waarvan de reputatie afhangt van geloofwaardigheid in plaats van van marketingbudgetten. De post is de vierde inzending in de serie 'Road to Linum v3' van het team, voortbouwend op een eerdere iteratie waarin de P-JiT-architectuur voor het eerst werd beschreven: een doorlopend technisch logboek waarmee externe onderzoekers elke ontwerpbeslissing kunnen volgen, inclusief de beslissingen die niet werkten.

Voor context over het kostencijfer: Linum's $21K dekte de berekening voor een trainingsrun van 660 miljoen voorbeelden van het 2B-parametermodel. Dat is niet direct vergelijkbaar met budgetten voor grenslaboratoria, die data-acquisitie, personeelsbezetting en experimenten over veel afgebroken runs omvatten. Wat het wel vaststelt, zijn de marginale kosten van één succesvolle, openlijk gedocumenteerde trainingsronde – een aantal individuele onderzoekers en universitaire laboratoria kunnen nu realistisch rond plannen.

Linum's stated ambition is creative tools that democratize access to animation. De kritiek van het team op de huidige generatieve video is dat deze te langzaam en duur is, en een fijnmazige besturing mist. Een combinatie die volgens hen 'effectief nutteloos maakt voor het vertellen van verhalen', aangezien creatief werk inherent iteratief is: je maakt, je past aan, je wordt beter. Cheaper training and faster inference are, in their framing, the precondition for video generation that actually fits an editing workflow.

Kleine laboratoria, grote signalen

The economics on display here matter beyond one startup. Trainingsreeksen die ooit de grens van het veld bepaalden – gemeten in miljoenen dollars – worden nu, in beperkte domeinen, geëvenaard door teams van twee die minder uitgeven dan het gemiddelde jaarsalaris van een senior ingenieur. Open-weights releases op deze schaal geven onafhankelijke onderzoekers de mogelijkheid om architecturen van productiekwaliteit te auditen, te verfijnen en erop voort te bouwen zonder institutionele steun.

De kanttekeningen zijn terecht: een 2B tekst-naar-beeld-model is verre van de grens van beeldkwaliteit, en de convergentieclaims van Linum zijn zelfgerapporteerd in plaats van onafhankelijk gebenchmarkt. But the release is fully reproducible — code and weights under Apache 2.0 — which means anyone skeptical can measure the claims directly. That, more than any single benchmark, is what makes small-lab releases like this one worth watching: the proof is downloadable.

Blijf AI een stap voor

Research that once required a corporate lab now fits on a credit card. Track every breakthrough in our AI research news.

Lees meer AI-nieuws →