İki kişilik bir araştırma laboratuvarı, yaklaşık 21.000$ karşılığında bir metinden görüntüye modelini eğitti ve onu tam izinli bir lisans altında yayınladı. Ortak CEO'lar Sahil Chopra ve Manu Chopra tarafından kurulan Linum, daha büyük video modellerine giden yolda bir kavram kanıtı olarak 660 milyon örnek üzerinde eğitilmiş 2 milyar parametreli Pixel-JiT (P-JiT) modelinin ayrıntılarını içeren sonuçları 4 Kasım'da bir teknik saha notları gönderisinde yayınladı. Hem model kodu hem de ağırlıklar, kısıtlama olmaksızın ticari kullanıma izin veren bir lisans olan Apache 2.0 kapsamında mevcuttur. Bu, Yapay Zeka araştırma kapsamımızda takip ettiğimiz bir konu olan, sınır kalitesinde yapay zeka araştırmasının gerçekte ne kadara mal olduğu konusundaki tartışmada çarpıcı bir veri noktasıdır.

Neden VAE'yi Atlamalısınız?

Çoğu modern görüntü oluşturma işlem hattı, görüntüleri ayrı bir değişken otomatik kodlayıcı (VAE) kullanarak sıkıştırır: VAE, görüntüyü kompakt bir gizli alana sıkıştırır ve bu sıkıştırılmış alanın içinde bir yayılma modeli oluşturulur. Linum'un ekibi bu işbölümünün tavana ulaştığını savunuyor. Yazılarında, VAE'lerin "elde edebilecekleri sıkıştırma miktarı konusunda ampirik bir tavana sahip gibi göründüğünü", sıkıştırmanın daha da ileri götürülmesinin geleneksel mimaride ciddi cerrahi müdahaleler gerektirdiğini ve bir VAE'nin yeniden yapılandırılmasının iyileştirilmesinin aslında aşağı yönlü difüzyon modelinin nesillerini daha da kötüleştirebileceğini belirtiyorlar.

Cevapları VAE'yi tamamen kaldırmaktır. P-JiT bir piksel alanı modelidir — difüzyon modeli doğrudan pikseller üzerinde çalışır ve aynı anda hem sıkıştırıp hem de üreterek kendi kullanım durumu için özel olarak oluşturulmuş gizli bir modeli öğrenir. Bahis şu ki, uçtan uca eğitilmiş tek bir model, iki özel ağ arasındaki geçişten daha fazla aynı hesaplamadan daha fazlasını elde edebilir.

Teknik Kazanç

Mimarinin adı piramit şeklindeki tokenizasyondan kaynaklanıyor. Linum'un tipik bir örnek olarak FLUX-2'yi gösterdiği güncel modellerin çoğunda 16×16 jeton azaltımı kullanılırken, P-JiT 32×32 jeton azaltımı elde eder; bu, daha önce 256×256 görüntü için gerekli olan jeton bütçesinde 512×512 görüntüyü temsil eder. Bu, dikkat bağlamı penceresinde4 kat azalma anlamına gelir ve dikkat, üretken video için hem eğitimi hem de çıkarımı pahalı hale getiren tam olarak O(n²) darboğazıdır.

Ekibin kendi ölçümlerine göre sonuçlar: P-JiT laboratuvarın daha standart Wan VAE artı DiT difüzyon tarifi üzerine inşa edilen önceki modeli Linum v2'ye kıyasla 11 kat daha az örnekte birleşiyor. 21 bin dolarlık çalışma (660 milyon eğitim örneği) ekibin boyutu göz önüne alındığında şaşırtıcı derecede yetkin olarak tanımladığı bir model üretti.

21.000 Dolar Ne Alır?

Sürüm, insanları (57), hayvanları (42), binaları (20), ürünleri (43), manzaraları (19) ve stilize görselleri (68) kapsayan 249 örnek görsel içeriyor. Ekip konumlandırma konusunda samimi: Bu bir "deneysel yayın" ve gerçek hedefleri olan video modeline doğru bir "atlama taşı". Örnekler, mimarinin, kalite açısından sınır görüntü modelleriyle eşleştiğini değil, geleneksel eğitim bütçelerinin çok altında bir maliyetle istikrarlı bir şekilde eğitim verdiğini ve tutarlı görüntüler ürettiğini göstermektedir.

Yazı, ekibin sonuçların yanı sıra arıza modlarını da nasıl belgelediği açısından dikkate değer. Modellerinin sınırlamalarını, onları gömmek yerine doğrudan alan notları gönderisinde sıralıyorlar; bu, itibarları pazarlama bütçelerinden ziyade güvenilirliğe bağlı olan küçük laboratuvarlar arasında giderek yaygınlaşan bir uygulamadır. Gönderi, ekibin "Linum'a Giden Yol v3" serisinin dördüncü girişi olup, P-JiT mimarisinin ilk kez tanımlandığı daha önceki bir yineleme üzerine inşa edilmiştir - dış araştırmacıların işe yaramayanlar da dahil olmak üzere her tasarım kararını takip etmesine olanak tanıyan çalışan bir teknik kayıt.

Maliyet rakamının bağlamı için: Linum'un 21.000 doları, 2B parametreli modelin 660 milyon örnekli eğitim çalıştırmasının hesaplamasını karşıladı. Bu, veri toplamayı, personel alımını ve iptal edilen birçok çalışma üzerindeki deneyleri kapsayan sınır laboratuarı bütçeleriyle doğrudan karşılaştırılamaz. Başarılı, açıkça belgelenmiş bir eğitim çalışmasının marjinal maliyetini ortaya koyuyor; bazı bireysel araştırmacılar ve üniversite laboratuvarları artık gerçekçi bir şekilde plan yapabiliyor.

Linum'un belirttiği tutku animasyona erişimi demokratikleştiren yaratıcı araçlardır. Ekibin günümüzün üretken videosuna yönelik eleştirisi, videonun çok yavaş ve pahalı olması ve ince taneli kontrollerden yoksun olmasıdır; yaratıcı çalışma doğası gereği yinelemeli olduğundan, bu kombinasyonun onu "hikaye anlatımı için etkili bir şekilde işe yaramaz" hale getirdiğini ileri sürüyorlar: Yapıyorsun, ince ayar yapıyorsun, daha iyi oluyorsun. Daha ucuz eğitim ve daha hızlı çıkarım, çerçeveleme açısından, düzenleme iş akışına gerçekten uyan video oluşturmanın ön koşuludur.

Küçük Laboratuvarlar, Büyük Sinyaller

Burada sergilenen ekonomi, tek bir girişimin ötesinde önem taşıyor. Bir zamanlar alanın sınırlarını belirleyen (milyonlarca dolar cinsinden ölçülen) eğitim çalışmaları, artık dar alanlarda, tipik bir kıdemli mühendisin yıllık maaşından daha az harcama yapan iki kişilik ekipler tarafından eşleştiriliyor. Bu ölçekteki açık ağırlıklı sürümler, bağımsız araştırmacılara kurumsal destek olmadan üretim düzeyindeki mimarileri denetleme, ince ayar yapma ve geliştirme yeteneği sağlar.

Uyarıları belirtmekte fayda var: 2B metinden görüntüye modeli, görüntü kalitesi sınırından çok uzaktır ve Linum'un yakınsama iddiaları, bağımsız olarak karşılaştırılmak yerine, kendi kendine rapor edilmektedir. Ancak sürüm tamamen tekrarlanabilir (Apache 2.0 kapsamındaki kod ve ağırlıklar), bu da şüpheci olan herkesin iddiaları doğrudan ölçebileceği anlamına gelir. Bunun gibi küçük laboratuvar yayınlarını izlemeye değer kılan şey, herhangi bir kıyaslamadan daha fazlasıdır: Kanıt indirilebilir.

Yapay Zekanın Önünde Kalın

Bir zamanlar kurumsal laboratuvar gerektiren araştırmalar artık kredi kartına sığıyor. Her atılımı Yapay Zeka araştırma haberlerimizden takip edin.

Daha fazla AI haberini okuyun →