Laboratorul pentru două persoane Linum antrenează model text-to-image pentru 21.000 USD, lansează greutăți sub Apache 2.0

Un laborator de cercetare format din două persoane a pregătit un model text-to-image pentru aproximativ 21.000 USD – și l-a lansat sub o licență pe deplin permisivă. Linum, fondată de co-CEO-uri Sahil Chopra și Manu Chopra, a publicat rezultatele pe 4 noiembrie într-o postare cu note tehnice, care detaliază un model Pixel-JiT (P-JiT) de 2 miliarde de parametri antrenat pe 660 de milioane de mostre ca dovadă de concept pe drumul către modele video mai mari. Atât codul modelului, cât și greutățile sunt disponibile sub Apache 2.0, o licență care permite utilizarea comercială fără restricții. Este un punct de date uimitor în dezbaterea cu privire la cât costă de fapt cercetarea AI de calitate de frontieră, un subiect pe care îl urmărim în acoperirea cercetării AI.

De ce să omiteți VAE?

Cele mai multe conducte moderne de generare de imagini comprimă imaginile folosind un autocoder variațional (VAE) separat: VAE stoarce o imagine într-un spațiu latent compact și un model de difuzie generează în interiorul acelui spațiu comprimat. Echipa lui Linum susține că această diviziune a muncii a atins un plafon. În scrisul lor, ei observă că VAE-urile „par să aibă un plafon empiric în ceea ce privește cantitatea de compresie pe care o pot realiza”, că împingerea compresiei în continuare necesită o intervenție chirurgicală substanțială la arhitectura tradițională și că îmbunătățirea reconstrucției unui VAE poate de fapt înrăutăți generațiile modelului de difuzie din aval.

Răspunsul lor este să elimine VAE cu totul. P-JiT este un model de spațiu de pixeli — modelul de difuzie funcționează direct pe pixeli și învață un model latent conceput special pentru propriul caz de utilizare, comprimând și generând în același timp. Pariul este că un singur model antrenat end-to-end poate extrage mai mult din același calcul decât un transfer între două rețele specializate.

Reducerea tehnică

Numele arhitecturii se referă la simbolizarea sa în formă de piramidă. Acolo unde majoritatea modelelor actuale – Linum citează FLUX-2 ca exemplu tipic – utilizează o reducere de jetoane de 16×16, P-JiT realizează o reducere de 32×32 de simboluri, reprezentând o imagine de 512×512 în bugetul de simboluri necesar anterior pentru o imagine de 256×256. Acest lucru se traduce printr-o reducere de 4× a ferestrei contextului atenției, iar atenția este tocmai blocajul O(n²) care face atât antrenamentul, cât și inferența costisitoare pentru videoclipurile generative.

Rezultatele, după măsurătorile proprii ale echipei: P-JiT converge în 11 ori mai puține mostre decât Linum v2, modelul anterior al laboratorului construit pe rețeta mai standard de difuzie Wan VAE plus DiT. Runda de 21.000 USD - 660 de milioane de mostre de antrenament - a produs un model pe care echipa îl descrie ca fiind surprinzător de competent, având în vedere dimensiunea sa.

Ce cumpără 21.000 USD

Versiunea include 249 de imagini exemple cu solicitările lor, cuprinzând oameni (57), animale (42), clădiri (20), produse (43), peisaje (19) și randări stilizate (68). Echipa este sinceră în ceea ce privește poziționarea: aceasta este o „eliberare experimentală” și o „treaptă” către ținta lor reală, un model video. Mostrele demonstrează că arhitectura se antrenează stabil și produce imagini coerente la o fracțiune din bugetele convenționale de instruire, nu că se potrivește cu modelele de imagine de frontieră în ceea ce privește calitatea.

Scrisul este de asemenea remarcabil pentru modul în care echipa documentează modurile de eșec alături de rezultate. Ei enumeră limitările modelului lor direct în postarea de note de teren, în loc să le îngroape, o practică din ce în ce mai comună în rândul laboratoarelor mai mici a căror reputație depinde mai degrabă de credibilitate decât de bugetele de marketing. Postarea este a patra intrare din seria „Road to Linum v3” a echipei, bazându-se pe o iterație anterioară în care arhitectura P-JiT a fost descrisă pentru prima dată – un jurnal tehnic care rulează, care permite cercetătorilor externi să urmeze fiecare decizie de proiectare, inclusiv pe cele care nu au funcționat.

Pentru contextul cifrei de cost: 21.000 USD a lui Linum a acoperit calculul pentru o rulare de antrenament de 660 de milioane de mostre a modelului cu parametri 2B. Acest lucru nu este direct comparabil cu bugetele laboratoarelor de frontieră, care acoperă achiziția de date, personalul și experimentarea pe mai multe runde întrerupte. Ceea ce stabilește este costul marginal al unui curs de formare de succes, documentat în mod deschis - un număr de cercetători individuali și laboratoare universitare își pot planifica acum în mod realist.

Ambiția declarată a lui Linum este instrumente creative care democratizează accesul la animație. Critica echipei la adresa videoclipului generativ de astăzi este că este prea lent și costisitor și nu are controale precise - o combinație pe care o consideră „inutilă pentru povestire”, deoarece munca creativă este în mod inerent iterativă: faci, modifici, devii mai bun. Formarea mai ieftină și inferența mai rapidă sunt, în cadrul lor, condiția prealabilă pentru generarea video care se potrivește de fapt unui flux de lucru de editare.

Laboratoare mici, semnale mari

Economia expusă aici contează dincolo de o singură pornire. Cursele de antrenament care odinioară defineau frontiera domeniului – măsurate în milioane de dolari – sunt acum egalate, în domenii înguste, de echipe de două persoane care cheltuiesc mai puțin decât salariul anual tipic al unui inginer senior. Lansările cu ponderi deschise la această scară oferă cercetătorilor independenți capacitatea de a audita, de a ajusta și de a construi pe arhitecturi de nivel de producție fără sprijin instituțional.

Avertismentele sunt corecte: un model 2B text-to-image este departe de frontiera calității imaginii, iar afirmațiile de convergență ale lui Linum sunt auto-raportate mai degrabă decât evaluate independent. Dar lansarea este pe deplin reproductibilă - cod și greutăți sub Apache 2.0 - ceea ce înseamnă că oricine este sceptic poate măsura afirmațiile direct. Acesta, mai mult decât orice punct de referință, este ceea ce face ca lansările de laborator mici ca aceasta să merite vizionate: dovada poate fi descărcată.

Rămâi înaintea AI

Cercetările care odată necesitau un laborator corporativ se potrivesc acum pe un card de credit. Urmăriți fiecare descoperire în știrile noastre de cercetare AI.

Citiți mai multe știri AI →