Sebuah laboratorium penelitian yang beranggotakan dua orang telah melatih model teks-ke-gambar dengan biaya sekitar $21.000 — dan merilisnya di bawah lisensi yang sepenuhnya permisif. Linum, yang didirikan oleh co-CEO Sahil Chopra dan Manu Chopra, mempublikasikan hasilnya pada tanggal 4 November dalam postingan catatan lapangan teknis, merinci model Pixel-JiT (P-JiT) dengan 2 miliar parameter yang dilatih pada 660 juta sampel sebagai pembuktian konsep dalam perjalanan menuju model video yang lebih besar. Kode model dan bobot tersedia di bawah Apache 2.0, sebuah lisensi yang mengizinkan penggunaan komersial tanpa batasan. Hal ini merupakan data yang menarik dalam perdebatan mengenai besarnya biaya penelitian AI berkualitas terdepan, sebuah topik yang kami ikuti dalam cakupan penelitian AI.

Mengapa Melewatkan VAE?

Sebagian besar pipeline penghasil gambar modern mengompresi gambar menggunakan variational autoencoder (VAE) terpisah: VAE memasukkan gambar ke dalam ruang laten yang ringkas, dan model difusi dihasilkan di dalam ruang terkompresi tersebut. Tim Linum berpendapat pembagian kerja ini telah mencapai batas maksimal. Dalam tulisannya, mereka mencatat bahwa VAE "tampaknya memiliki batasan empiris mengenai jumlah kompresi yang dapat mereka capai," bahwa mendorong kompresi lebih jauh memerlukan pembedahan besar pada arsitektur tradisional, dan bahwa meningkatkan rekonstruksi VAE sebenarnya dapat memperburuk generasi model difusi hilir.

Jawaban mereka adalah menghapus VAE sama sekali. P-JiT adalah model ruang piksel — model difusi beroperasi langsung pada piksel dan mempelajari tujuan laten yang dibuat untuk kasus penggunaannya sendiri, mengompresi dan menghasilkan pada saat yang bersamaan. Taruhannya adalah bahwa satu model yang dilatih secara end-to-end dapat menghasilkan lebih banyak manfaat dari komputasi yang sama dibandingkan dengan peralihan antara dua jaringan khusus.

Imbalan Teknis

Nama arsitekturnya mengacu pada tokenisasi berbentuk piramida. Jika sebagian besar model terkini — Linum mengutip FLUX-2 sebagai contoh umum — menggunakan pengurangan token 16×16, P-JiT mencapai pengurangan token 32×32, mewakili gambar 512×512 dalam anggaran token yang sebelumnya diperlukan untuk gambar 256×256. Hal ini berarti pengurangan 4× pada jendela konteks perhatian, dan perhatian justru merupakan hambatan O(n²) yang menjadikan pelatihan dan inferensi mahal untuk video generatif.

Hasilnya, berdasarkan pengukuran tim sendiri: P-JiT berkumpul dalam sampel 11× lebih sedikit dibandingkan Linum v2, model lab sebelumnya yang dibuat berdasarkan resep difusi Wan VAE plus DiT yang lebih standar. Proses senilai $21K — 660 juta sampel pelatihan — menghasilkan model yang menurut tim sangat kompeten mengingat ukurannya.

Apa yang Dibeli $21K

Rilis ini mencakup 249 contoh gambar beserta petunjuknya, mencakup orang (57), hewan (42), bangunan (20), produk (43), lanskap (19), dan render bergaya (68). Tim ini berterus terang mengenai penentuan posisi: ini adalah "rilis eksperimental" dan "batu loncatan" menuju target sebenarnya, model video. Sampel tersebut menunjukkan bahwa arsitektur dilatih secara stabil dan menghasilkan gambar yang koheren dengan anggaran pelatihan konvensional yang lebih sedikit, namun tidak sebanding dengan model gambar terdepan dalam hal kualitas.

Tulisan ini juga penting karena cara tim mendokumentasikan mode kegagalan beserta hasil. Mereka menyebutkan keterbatasan model mereka secara langsung dalam catatan lapangan dibandingkan menguburnya, sebuah praktik yang semakin umum dilakukan di laboratorium kecil yang reputasinya bergantung pada kredibilitas dibandingkan anggaran pemasaran. Postingan ini adalah entri keempat dalam seri "Road to Linum v3" milik tim, yang dibangun berdasarkan iterasi sebelumnya di mana arsitektur P-JiT pertama kali dijelaskan — log teknis berjalan yang memungkinkan peneliti luar mengikuti setiap keputusan desain, termasuk keputusan yang tidak berhasil.

Untuk konteks angka biaya: $21K dari Linum mencakup komputasi untuk 660 juta sampel pelatihan model parameter 2B. Hal ini tidak secara langsung sebanding dengan anggaran laboratorium terdepan, yang mencakup akuisisi data, penempatan staf, dan eksperimen pada banyak proses yang dibatalkan. Hal yang terjadi adalah biaya marjinal dari satu pelatihan yang sukses dan terdokumentasi secara terbuka – sejumlah peneliti dan laboratorium universitas kini dapat membuat rencana secara realistis.

Ambisi Linum adalah alat kreatif yang mendemokratisasi akses ke animasi. Kritik tim terhadap video generatif saat ini adalah bahwa video tersebut terlalu lambat dan mahal, serta tidak memiliki kontrol yang baik. Kombinasi yang menurut mereka menjadikannya "tidak berguna untuk bercerita", karena karya kreatif pada dasarnya bersifat berulang: Anda membuat, Anda mengubah, Anda menjadi lebih baik. Pelatihan yang lebih murah dan inferensi yang lebih cepat, dalam penyusunannya, merupakan prasyarat untuk pembuatan video yang benar-benar sesuai dengan alur kerja pengeditan.

Lab Kecil, Sinyal Besar

Perekonomian yang ditampilkan di sini tidak hanya penting bagi satu startup. Pelatihan yang dulunya menentukan batasan di bidang ini – diukur dalam jutaan dolar – kini dicocokkan, dalam domain yang sempit, oleh tim yang terdiri dari dua orang yang mengeluarkan biaya kurang dari gaji tahunan seorang insinyur senior pada umumnya. Rilis bobot terbuka pada skala ini memberikan peneliti independen kemampuan untuk mengaudit, menyempurnakan, dan membangun arsitektur tingkat produksi tanpa dukungan institusional.

Peringatan ini cukup adil untuk dinyatakan: model teks-ke-gambar 2B jauh dari batas kualitas gambar, dan klaim konvergensi Linum dilaporkan sendiri dan bukan diukur secara independen. Namun rilis ini sepenuhnya dapat direproduksi – kode dan bobot di bawah Apache 2.0 – yang berarti siapa pun yang skeptis dapat mengukur klaim tersebut secara langsung. Hal tersebut, melebihi tolok ukur apa pun, adalah hal yang membuat rilis laboratorium kecil seperti ini layak untuk ditonton: buktinya dapat diunduh.

Tetap Terdepan dalam AI

Penelitian yang dulunya membutuhkan laboratorium perusahaan kini dapat dilakukan dengan kartu kredit. Lacak setiap terobosan dalam berita penelitian AI.

Baca berita AI selengkapnya →