Makmal penyelidikan dua orang telah melatih model teks-ke-imej untuk kira-kira $21,000 — dan mengeluarkannya di bawah lesen permisif sepenuhnya. Linum, yang diasaskan oleh Ketua Pegawai Eksekutif bersama Sahil Chopra dan Manu Chopra, menerbitkan keputusan itu pada 4 November dalam catatan nota lapangan teknikal, memperincikan model 2 bilion parameter Pixel-JiT (P-JiT) yang dilatih pada 660 juta sampel sebagai bukti konsep di jalan menuju model video yang lebih besar. Kedua-dua kod model dan pemberat tersedia di bawah Apache 2.0, lesen yang membenarkan penggunaan komersial tanpa sekatan. Ia merupakan titik data yang menarik dalam perdebatan mengenai kos sebenar penyelidikan AI berkualiti sempadan, topik yang kami ikuti dalam [liputan penyelidikan AI] kami (https://aibuzzwire.news).

Mengapa Melangkau VAE?

Kebanyakan saluran paip penjanaan imej moden memampatkan imej menggunakan pengekod auto variasi (VAE) yang berasingan: VAE memerah imej ke dalam ruang terpendam padat dan model resapan menjana di dalam ruang mampat itu. Pasukan Linum berpendapat pembahagian kerja ini telah mencecah siling. Dalam penulisan mereka, mereka mendapati bahawa VAE "nampaknya mempunyai siling empirikal pada jumlah pemampatan yang boleh mereka capai," yang mendorong pemampatan selanjutnya memerlukan pembedahan besar kepada seni bina tradisional, dan bahawa menambah baik pembinaan semula VAE sebenarnya boleh memburukkan generasi model penyebaran hiliran.

Jawapan mereka adalah untuk menghapuskan VAE sama sekali. P-JiT ialah model ruang piksel — model resapan beroperasi terus pada piksel dan mempelajari tujuan terpendam yang dibina untuk kes penggunaannya sendiri, memampatkan dan menjana pada masa yang sama. Pertaruhannya ialah model tunggal yang dilatih hujung-ke-hujung boleh memerah lebih daripada pengiraan yang sama daripada serahan antara dua rangkaian khusus.

Bayaran Teknikal

Nama seni bina itu merujuk kepada tokenisasi berbentuk piramidnya. Di mana kebanyakan model semasa — Linum memetik FLUX-2 sebagai contoh biasa — menggunakan pengurangan token 16×16, P-JiT mencapai 32×32 pengurangan token, mewakili imej 512×512 dalam belanjawan token yang diperlukan sebelum ini untuk imej 256×256. Itu diterjemahkan kepada pengurangan 4× dalam tetingkap konteks perhatian, dan perhatian ialah kesesakan O(n²) yang menjadikan latihan dan inferens mahal untuk video generatif.

Hasilnya, mengikut ukuran pasukan sendiri: P-JiT menumpu dalam 11× lebih sedikit sampel daripada Linum v2, model makmal sebelumnya yang dibina pada resipi penyebaran Wan VAE ditambah DiT yang lebih standard. Larian bernilai $21K — 660 juta sampel latihan — menghasilkan model yang disifatkan oleh pasukan sebagai sangat cekap berdasarkan saiznya.

Perkara yang Dibeli $21K

Keluaran itu termasuk 249 sampel imej dengan gesaannya, merangkumi orang (57), haiwan (42), bangunan (20), produk (43), landskap (19) dan pemaparan bergaya (68). Pasukan ini berterus terang tentang kedudukan: ini ialah "pelepasan eksperimen" dan "batu loncatan" ke arah sasaran sebenar mereka, model video. Sampel menunjukkan bahawa seni bina melatih secara stabil dan menghasilkan imej yang koheren pada sebahagian kecil daripada belanjawan latihan konvensional, bukannya ia sepadan dengan model imej sempadan pada kualiti.

Tulisan juga terkenal kerana cara pasukan mendokumentasikan mod kegagalan bersama hasil. Mereka menyenaraikan batasan model mereka secara langsung dalam catatan nota lapangan dan bukannya menguburkannya, amalan yang semakin biasa di kalangan makmal yang lebih kecil yang reputasinya bergantung pada kredibiliti dan bukannya belanjawan pemasaran. Siaran itu ialah entri keempat dalam siri "Road to Linum v3" pasukan, membina lelaran awal di mana seni bina P-JiT pertama kali diterangkan — log teknikal berjalan yang membolehkan penyelidik luar mengikuti setiap keputusan reka bentuk, termasuk yang tidak berfungsi.

Untuk konteks tentang angka kos: $21K Linum meliputi pengiraan untuk larian latihan 660 juta sampel model parameter 2B. Itu tidak dapat dibandingkan secara langsung dengan belanjawan makmal sempadan, yang merangkumi pemerolehan data, kakitangan dan percubaan ke atas banyak larian yang dihentikan. Apa yang ia wujudkan ialah kos kecil bagi satu latihan yang berjaya dan didokumenkan secara terbuka — beberapa penyelidik individu dan makmal universiti kini boleh merancang secara realistik.

Cita-cita Linum yang dinyatakan ialah alat kreatif yang mendemokrasikan akses kepada animasi. Kritikan pasukan terhadap video generatif hari ini ialah ia terlalu perlahan dan mahal, serta tidak mempunyai kawalan yang terperinci — gabungan yang mereka pertikaikan menjadikannya "tidak berguna secara berkesan untuk bercerita," kerana kerja kreatif sememangnya berulang: anda membuat, anda mengubah suai, anda menjadi lebih baik. Latihan yang lebih murah dan inferens yang lebih pantas adalah, dalam pembingkaiannya, prasyarat untuk penjanaan video yang sebenarnya sesuai dengan aliran kerja penyuntingan.

Makmal Kecil, Isyarat Besar

Ekonomi yang dipamerkan di sini penting melangkaui satu permulaan. Larian latihan yang pernah mentakrifkan sempadan padang — diukur dalam berjuta-juta dolar — kini dipadankan, dalam domain yang sempit, oleh dua pasukan yang membelanjakan kurang daripada gaji tahunan jurutera kanan biasa. Keluaran wajaran terbuka pada skala ini memberi penyelidik bebas keupayaan untuk mengaudit, memperhalusi dan membina seni bina gred pengeluaran tanpa sokongan institusi.

Kaveat adalah adil untuk dinyatakan: model teks-ke-imej 2B jauh dari sempadan kualiti imej, dan tuntutan penumpuan Linum dilaporkan sendiri dan bukannya ditanda aras secara bebas. Tetapi keluaran itu boleh diterbitkan semula sepenuhnya — kod dan pemberat di bawah Apache 2.0 — yang bermaksud sesiapa yang ragu-ragu boleh mengukur tuntutan secara langsung. Itu, lebih daripada mana-mana penanda aras tunggal, yang menjadikan keluaran makmal kecil seperti ini patut ditonton: buktinya boleh dimuat turun.

Kekal Mendahului AI

Penyelidikan yang pernah memerlukan makmal korporat kini sesuai dengan kad kredit. Jejaki setiap kejayaan dalam [berita penyelidikan AI] kami (https://aibuzzwire.news).

Baca lebih banyak berita AI →