Dwuosobowe laboratorium badawcze wyszkoliło model zamiany tekstu na obraz za około 21 000 dolarów i udostępniło go na w pełni liberalnej licencji. Firma Linum, założona przez współzarządzających dyrektorów generalnych Sahila Choprę i Manu Choprę, opublikowała wyniki 4 listopada w poście z notatkami technicznymi, szczegółowo opisując model Pixel-JiT (P-JiT) o 2 miliardach parametrów przeszkolony na 660 milionach próbek jako dowód słuszności koncepcji na drodze do większych modeli wideo. Zarówno kod modelu, jak i wagi są dostępne w ramach Apache 2.0, licencji umożliwiającej komercyjne wykorzystanie bez ograniczeń. To uderzający punkt danych w debacie na temat tego, ile faktycznie kosztują pionierskie badania nad sztuczną inteligencją. Temat ten śledzimy w naszych relatywach badań nad sztuczną inteligencją.

Dlaczego warto pominąć VAE?

Większość nowoczesnych potoków generowania obrazu kompresuje obrazy przy użyciu oddzielnego autoenkodera wariacyjnego (VAE): VAE wciska obraz w zwartą przestrzeń ukrytą, a wewnątrz tej skompresowanej przestrzeni generowany jest model dyfuzyjny. Zespół Linuma twierdzi, że ten podział pracy sięgnął sufitu. W swoim artykule zauważają, że VAE „wydają się mieć empiryczny pułap wielkości kompresji, jaką mogą osiągnąć”, że dalsze zwiększanie kompresji wymaga znacznych zmian w tradycyjnej architekturze oraz że poprawa rekonstrukcji VAE może w rzeczywistości pogorszyć generacje modelu dyfuzji w dół.

Ich odpowiedzią jest całkowite usunięcie VAE. P-JiT to model przestrzeni pikseli — model dyfuzji działa bezpośrednio na pikselach i uczy się ukrytego, specjalnie zaprojektowanego na potrzeby własnego przypadku użycia, kompresując i generując jednocześnie. Zakład jest taki, że kompleksowo przeszkolony jeden model może wycisnąć więcej z tych samych obliczeń niż w przypadku przekazywania między dwiema wyspecjalizowanymi sieciami.

Techniczna zapłata

Nazwa architektury nawiązuje do jej tokenizacji w kształcie piramidy. Tam, gdzie większość obecnych modeli — Linum jako typowy przykład podaje FLUX-2 — wykorzystuje redukcję tokenów 16×16, P-JiT osiąga redukcję tokenów 32×32, reprezentując obraz 512×512 w budżecie tokenów wymaganym wcześniej dla obrazu 256×256. Przekłada się to na 4-krotne zmniejszenie okna kontekstu uwagi, a uwaga jest właśnie wąskim gardłem O(n²), które sprawia, że ​​zarówno szkolenie, jak i wnioskowanie są drogie w przypadku generatywnego wideo.

Wyniki według własnych pomiarów zespołu: P-JiT zbiega się w 11 razy mniejszej liczbie próbek niż Linum v2, poprzedni model laboratoryjny zbudowany w oparciu o bardziej standardową recepturę dyfuzji Wan VAE plus DiT. W wyniku badania o wartości 21 tys. dolarów – 660 milionów próbek szkoleniowych – powstał model, który zespół opisuje jako zaskakująco kompetentny, biorąc pod uwagę jego wielkość.

Co kupuje za 21 tys. dolarów

Wydanie zawiera 249 przykładowych obrazów z podpowiedziami, przedstawiających ludzi (57), zwierzęta (42), budynki (20), produkty (43), krajobrazy (19) i stylizowane renderingi (68). Zespół szczerze wypowiada się na temat pozycjonowania: jest to „wydanie eksperymentalne” i „odskocznia” w kierunku prawdziwego celu, czyli modelu wideo. Próbki pokazują, że architektura trenuje stabilnie i tworzy spójne obrazy przy ułamku konwencjonalnych budżetów szkoleniowych, a nie, że pod względem jakości dorównuje pionierskim modelom obrazów.

W artykule warto również zwrócić uwagę na sposób, w jaki zespół dokumentuje tryby awarii wraz z wynikami. Wyliczają ograniczenia swojego modelu bezpośrednio w notatkach terenowych, zamiast je zakopywać, co jest coraz bardziej powszechną praktyką wśród mniejszych laboratoriów, których reputacja zależy bardziej od wiarygodności niż budżetów marketingowych. Post jest czwartym wpisem w serii „Road to Linum v3” zespołu, opartej na wcześniejszej iteracji, w której po raz pierwszy opisano architekturę P-JiT — bieżącym dzienniku technicznym, który pozwala zewnętrznym badaczom śledzić każdą decyzję projektową, łącznie z tymi, które nie zadziałały.

Dla kontekstu kosztów: kwota 21 tys. dolarów Linum pokryła obliczenia dla przebiegu szkoleniowego modelu z parametrami 2B obejmującego 660 milionów próbek. Nie można tego bezpośrednio porównać z budżetami laboratoriów pionierskich, które obejmują gromadzenie danych, personel i eksperymenty w wielu przerwanych seriach. Ustala jedynie koszt krańcowy jednego udanego, otwarcie udokumentowanego przebiegu szkolenia — liczbę indywidualnych badaczy i laboratoriów uniwersyteckich można teraz realistycznie zaplanować.

Deklarowaną ambicją Linum są kreatywne narzędzia, które demokratyzują dostęp do animacji. Zespół krytycznie odnosi się do dzisiejszego generatywnego wideo, że jest zbyt powolne i drogie oraz brakuje mu precyzyjnego sterowania – według nich kombinacja sprawia, że ​​jest on „faktycznie bezużyteczny w opowiadaniu historii”, ponieważ praca twórcza z natury jest iteracyjna: tworzysz, poprawiasz, stajesz się lepszy. Tańsze szkolenie i szybsze wnioskowanie są, jeśli chodzi o kadrowanie, warunkiem wstępnym generowania wideo, które faktycznie pasuje do procesu montażu.

Małe laboratoria, duże sygnały

Przedstawiona tutaj ekonomia ma znaczenie wykraczające poza jeden startup. Szkolenia, które kiedyś wyznaczały granice danej dziedziny – mierzone w milionach dolarów – są obecnie łączone, w wąskich dziedzinach, przez dwuosobowe zespoły, które wydają mniej niż roczne wynagrodzenie typowego starszego inżyniera. Wersje o otwartej wadze na tę skalę dają niezależnym badaczom możliwość audytu, dostrajania i budowania na architekturach klasy produkcyjnej bez wsparcia instytucjonalnego.

Zastrzeżenia są uczciwe: model zamiany tekstu na obraz 2B jest daleki od granicy jakości obrazu, a twierdzenia Linum dotyczące konwergencji są zgłaszane samodzielnie, a nie niezależnie testowane. Ale wydanie jest w pełni powtarzalne — kod i wagi w Apache 2.0 — co oznacza, że ​​każdy sceptyczny może bezpośrednio zmierzyć się z twierdzeniami. To właśnie bardziej niż jakikolwiek pojedynczy test sprawia, że ​​warto obejrzeć takie wydania w małych laboratoriach: dowód można pobrać.

Wyprzedź sztuczną inteligencję

Badania, które kiedyś wymagały laboratorium korporacyjnego, teraz mieszczą się na karcie kredytowej. Śledź każdy przełom w naszych wiadomościach dotyczących badań nad sztuczną inteligencją.

Przeczytaj więcej aktualności o sztucznej inteligencji →