Maabara ya utafiti ya watu wawili imefunza muundo wa kubadilisha maandishi kwa picha kwa takriban $21,000 - na kuitoa chini ya leseni inayoruhusu. Linum, iliyoanzishwa na Wakurugenzi Mtendaji-wenza Sahil Chopra na Manu Chopra, ilichapisha matokeo mnamo Novemba 4 katika chapisho la maelezo ya uga wa kiufundi, ikieleza kwa kina modeli ya vigezo bilioni 2 ya Pixel-JiT (P-JiT) iliyofunzwa kwa sampuli milioni 660 kama uthibitisho wa dhana kwenye barabara ya miundo mikubwa ya video. Msimbo wa kielelezo na uzani zinapatikana chini ya Apache 2.0, leseni inayoruhusu matumizi ya kibiashara bila kizuizi. Ni data ya kuvutia katika mjadala kuhusu ni kiasi gani cha gharama ya utafiti wa AI wa ubora wa mpaka, mada tunayofuata katika changamoto yetu ya utafiti wa AI.

Kwa nini Uruke VAE?

Mabomba mengi ya kisasa ya kuzalisha picha hubana picha kwa kutumia kisimbaji kiotomatiki tofauti (VAE): VAE hubana picha katika nafasi iliyofichika iliyosongamana, na muundo wa usambaaji hutokeza ndani ya nafasi hiyo iliyobanwa. Timu ya Linum inahoji kuwa mgawanyo huu wa kazi umefikia kiwango cha juu. Katika uandishi wao, wanaona kuwa VAEs "inaonekana kuwa na dari ya nguvu juu ya kiwango cha mgandamizo wanachoweza kufikia," kwamba kusukuma kushinikiza kunahitaji upasuaji mkubwa kwa usanifu wa jadi, na kwamba kuboresha ujenzi wa VAE kunaweza kuzidisha vizazi vya mtindo wa uenezaji wa chini.

Jibu lao ni kuondoa VAE kabisa. P-JiT ni muundo wa nafasi ya pikseli — muundo wa uenezaji hufanya kazi moja kwa moja kwenye pikseli na hujifunza kusudi fiche lililoundwa kwa matumizi yake yenyewe, kubana na kuzalisha kwa wakati mmoja. Dau ni kwamba mtindo mmoja uliofunzwa kutoka mwisho hadi mwisho unaweza kubana zaidi kutoka kwa hesabu sawa kuliko kukabidhi mkono kati ya mitandao miwili maalum.

Malipo ya Kiufundi

Jina la usanifu linarejelea ishara yake ya umbo la piramidi. Ambapo mifano mingi ya sasa - Linum inataja FLUX-2 kama mfano wa kawaida - tumia upunguzaji wa tokeni wa 16×16, P-JiT inafanikisha kupunguza 32×32 tokeni, inayowakilisha picha ya 512×512 katika bajeti ya tokeni iliyohitajika hapo awali kwa picha ya 256×256. Hiyo hutafsiri kuwa 4× punguzo katika dirisha la muktadha wa umakini, na umakini ni kizuizi cha O(n²) ambacho hufanya mafunzo na maelekezo kuwa ghali kwa video za uzalishaji.

Matokeo, kulingana na vipimo vya timu yenyewe: P-JiT huungana katika sampuli 11× chache kuliko Linum v2, muundo wa awali wa maabara uliojengwa kwenye kichocheo cha kawaida cha Wan VAE pamoja na DiT. Ukimbiaji wa $21K - sampuli za mafunzo milioni 660 - ulitoa kielelezo ambacho timu inaelezea kama uwezo wa kushangaza kutokana na ukubwa wake.

Nini $21K Hununua

Toleo hili linajumuisha picha 249 za sampuli zilizo na vidokezo vyake, zinazojumuisha watu (57), wanyama (42), majengo (20), bidhaa (43), mandhari (19), na matoleo yenye mitindo (68). Timu iko wazi kuhusu kuweka nafasi: hili ni "toleo la majaribio" na "jiwe la ngazi" kuelekea walengwa wao halisi, muundo wa video. Sampuli zinaonyesha kuwa usanifu hufundisha kwa uthabiti na hutoa picha dhabiti katika sehemu ya bajeti ya kawaida ya mafunzo, si kwamba inalingana na miundo ya picha za mipakani kwenye ubora.

Uandishi pia unajulikana kwa jinsi timu inavyoandika hali za kutofaulu pamoja na matokeo. Wanaorodhesha mapungufu ya modeli zao moja kwa moja kwenye chapisho la noti badala ya kuzika, jambo ambalo linazidi kuwa la kawaida miongoni mwa maabara ndogo ambazo sifa zake zinategemea uaminifu badala ya bajeti za uuzaji. Chapisho ni ingizo la nne katika safu ya timu ya "Road to Linum v3", ikitegemea marudio ya awali ambapo usanifu wa P-JiT ulielezewa kwa mara ya kwanza - logi ya kiufundi inayoendesha ambayo huwaruhusu watafiti kutoka nje kufuata kila uamuzi wa muundo, pamoja na wale ambao hawakufanya kazi.

Kwa muktadha wa takwimu ya gharama: $21K ya Linum ilishughulikia hesabu ya sampuli ya mafunzo ya milioni 660 ya modeli ya vigezo 2B. Hilo halilinganishwi moja kwa moja na bajeti za maabara za mipakani, ambazo hujumuisha upataji wa data, uajiri, na majaribio juu ya utendakazi mwingi ulioghairishwa. Inachobaini ni gharama ndogo ya mafunzo yaliyofaulu, yaliyo na kumbukumbu wazi - idadi ya watafiti binafsi na maabara za chuo kikuu sasa wanaweza kupanga kihalisi.

Matarajio yaliyotajwa ya Linum ni zana za ubunifu zinazoweka kidemokrasia ufikiaji wa uhuishaji. Ukosoaji wa timu kuhusu video ya leo ya uzalishaji ni kwamba ni ya polepole sana na ya gharama kubwa, na haina vidhibiti vilivyoboreshwa - mseto ambao wanasema unaifanya kuwa "isiyofaa kwa kusimulia hadithi," kwa kuwa kazi ya ubunifu ni ya kujirudiarudia: unatengeneza, unarekebisha, unakuwa bora. Mafunzo ya bei nafuu na uelekezaji wa haraka zaidi ni, katika uundaji wao, sharti la utayarishaji wa video ambalo linalingana na mtiririko wa kazi wa kuhariri.

Maabara Ndogo, Ishara Kubwa

Uchumi unaoonyeshwa hapa ni muhimu zaidi ya mwanzo mmoja. Uendeshaji wa mafunzo ambao hapo awali ulifafanua mipaka ya uwanja - uliopimwa kwa mamilioni ya dola - sasa unalinganishwa, katika nyanja finyu, na timu za watu wawili wanaotumia chini ya mshahara wa kila mwaka wa mhandisi mkuu. Matoleo ya uzani huria katika kipimo hiki huwapa watafiti huru uwezo wa kukagua, kusawazisha, na kujenga usanifu wa kiwango cha uzalishaji bila kuungwa mkono na taasisi.

Tahadhari ni sawa kueleza: muundo wa 2B wa maandishi kwa picha uko mbali na mipaka ya ubora wa picha, na madai ya muunganiko wa Linum yanaripotiwa yenyewe badala ya kuwekewa alama moja kwa moja. Lakini toleo linaweza kuzalishwa kikamilifu - msimbo na uzani chini ya Apache 2.0 - ambayo inamaanisha kuwa mtu yeyote mwenye shaka anaweza kupima madai moja kwa moja. Hiyo, zaidi ya alama yoyote ile, ndiyo inayofanya matoleo ya maabara ndogo kama haya yanafaa kutazamwa: uthibitisho unaweza kupakuliwa.

Kaa Mbele ya AI

Utafiti ambao hapo awali ulihitaji maabara ya shirika sasa unafaa kwenye kadi ya mkopo. Fuatilia kila mafanikio katika habari zetu za utafiti wa AI.

Soma habari zaidi za AI →