Výzkumná laboratoř pro dvě osoby vycvičila model převodu textu na obrázek za zhruba 21 000 $ – a vydala jej pod plně povolenou licencí. Společnost Linum, kterou založili spoluředitelé Sahil Chopra a Manu Chopra, zveřejnila výsledky 4. listopadu v příspěvku s technickými poznámkami, v němž podrobně popisuje model Pixel-JiT (P-JiT) s 2 miliardami parametrů vyškolený na 660 milionech vzorků jako důkaz konceptu na cestě k větším video modelům. Kód modelu i hmotnosti jsou k dispozici pod licencí Apache 2.0, která umožňuje komerční použití bez omezení. Je to pozoruhodný datový bod v debatě o tom, kolik skutečně stojí výzkum AI na hranici kvality, což je téma, které sledujeme v našem pokrytí výzkumu AI.

Proč přeskočit VAE?

Většina moderních kanálů pro generování obrazu komprimuje obrazy pomocí samostatného variačního autokodéru (VAE): VAE vmáčkne obraz do kompaktního latentního prostoru a uvnitř tohoto komprimovaného prostoru se generuje difúzní model. Linumův tým tvrdí, že tato dělba práce narazila na strop. Ve svém zápisu poznamenávají, že VAE „zdá se, že mají empirický strop pro množství komprese, které mohou dosáhnout“, že další posunutí komprese vyžaduje podstatnou operaci tradiční architektury a že zlepšení rekonstrukce VAE může ve skutečnosti zhoršit generace následného modelu difúze.

Jejich odpovědí je úplné odstranění VAE. P-JiT je pixel-space model — difúzní model pracuje přímo s pixely a učí se latentní účel, vytvořený pro vlastní případ použití, komprimuje a generuje současně. Sázka je na to, že jediný model trénovaný end-to-end dokáže vymáčknout více ze stejného výpočtu než hand-off mezi dvěma specializovanými sítěmi.

Technická odměna

Název architektury odkazuje na její pyramidovou tokenizaci. Tam, kde většina současných modelů — Linum uvádí jako typický příklad FLUX-2 — používá zmenšení tokenu 16×16, P-JiT dosahuje zmenšení tokenu 32×32, což představuje obrázek 512×512 v rozpočtu tokenů, který byl dříve potřebný pro obrázek 256×256. To znamená 4× zmenšení okna kontextu pozornosti a pozornost je přesně tím úzkým hrdlem O(n²), kvůli kterému je školení i vyvozování u generativního videa drahé.

Výsledky na základě vlastních měření týmu: P-JiT konverguje v 11× méně vzorcích než Linum v2, předchozí model laboratoře postavený na standardnějším difuzním receptu Wan VAE plus DiT. Náběh za 21 tisíc dolarů – 660 milionů tréninkových vzorků – vytvořil model, který tým popisuje jako překvapivě kompetentní vzhledem k jeho velikosti.

Co koupí za 21 000 $

Vydání obsahuje 249 ukázkových obrázků s jejich výzvami, které zahrnují lidi (57), zvířata (42), budovy (20), produkty (43), krajiny (19) a stylizované rendery (68). Tým je upřímný ohledně umístění: toto je „experimentální vydání“ a „odrazový můstek“ k jejich skutečnému cíli, video modelu. Ukázky demonstrují, že architektura se stabilně trénuje a vytváří koherentní obrazy za zlomek konvenčních školicích rozpočtů, nikoli že se kvalitou vyrovná hraničním obrazovým modelům.

Zápis je také pozoruhodný tím, jak tým dokumentuje režimy selhání spolu s výsledky. Omezení svého modelu vyjmenovávají přímo v terénních poznámkách, než aby je pohřbívali, což je stále běžnější praxe mezi menšími laboratořemi, jejichž pověst závisí spíše na důvěryhodnosti než na marketingových rozpočtech. Příspěvek je čtvrtým záznamem v týmové sérii „Road to Linum v3“, staví na dřívější iteraci, kde byla poprvé popsána architektura P-JiT – běžící technický deník, který umožňuje externím výzkumníkům sledovat každé rozhodnutí o návrhu, včetně těch, které nefungovaly.

Pro kontext k údaji o nákladech: 21 000 $ společnosti Linum pokrylo výpočet 660 milionů vzorových tréninkových běhů modelu s parametry 2B. To není přímo srovnatelné s rozpočty hraničních laboratoří, které zahrnují získávání dat, personální obsazení a experimentování během mnoha přerušených běhů. Stanovuje to marginální náklady jednoho úspěšného, ​​otevřeně zdokumentovaného školení – řada jednotlivých výzkumníků a univerzitních laboratoří nyní může realisticky plánovat.

Deklarovanou ambicí Linumu jsou kreativní nástroje, které demokratizují přístup k animaci. Tým kritizuje dnešní generativní video, že je příliš pomalé a drahé a postrádá jemné ovládání – tato kombinace jej podle nich činí „efektivně nepoužitelným pro vyprávění příběhu“, protože kreativní práce je ze své podstaty iterativní: uděláte, vylepšíte, budete lepší. Levnější školení a rychlejší vyvozování jsou ve svém rámování předpokladem pro generování videa, které skutečně zapadá do pracovního postupu úprav.

Malé laboratoře, velké signály

Ekonomika, která je zde zobrazena, má větší význam než jeden startup. Školení, která kdysi určovala hranice oboru – měřeno v milionech dolarů – se nyní v úzkých oblastech vyrovnávají týmy po dvou, které utrácejí méně, než je roční plat typického vedoucího inženýra. Vydání s otevřenými váhami v tomto rozsahu dává nezávislým výzkumníkům možnost auditovat, dolaďovat a stavět na produkčních architekturách bez institucionální podpory.

Námitky jsou spravedlivé: model 2B text-to-image je daleko od hranice kvality obrazu a tvrzení Linumu o konvergenci jsou spíše hlásána sama, než nezávisle testována. Vydání je však plně reprodukovatelné – kód a váhy pod Apache 2.0 – což znamená, že každý skeptický může měřit nároky přímo. To, více než jakýkoli jednotlivý benchmark, je to, co dělá vydání pro malé laboratoře, jako je toto, za zhlédnutí: důkaz je ke stažení.

Udržujte si náskok před umělou inteligencí

Výzkum, který kdysi vyžadoval firemní laboratoř, se nyní hodí na kreditní kartu. Sledujte každý průlom v našich zprávách z výzkumu AI.

Přečtěte si další zprávy o AI →