Дослідницька лабораторія з двох осіб навчила модель тексту в зображення приблизно за $21 000 — і випустила її за повністю дозволеною ліцензією. Linum, заснована одними з генеральних директорів Сахіл Чопра та Ману Чопра, опублікувала результати 4 листопада в технічній публікації, в якій детально описується модель Pixel-JiT (P-JiT) з 2 мільярдами параметрів, навчена на 660 мільйонах зразків, як доказ концепції на шляху до більших відеомоделей. Як код моделі, так і ваги доступні за Apache 2.0, ліцензією, яка дозволяє комерційне використання без обмежень. Це вражаючий момент у дискусії про те, скільки насправді коштують передові дослідження штучного інтелекту. Ми слідкуємо за цією темою в нашому [дослідженні штучного інтелекту] (https://aibuzzwire.news).

Навіщо пропускати VAE?

Більшість сучасних конвеєрів генерації зображень стискають зображення за допомогою окремого варіаційного автокодувальника (VAE): VAE стискає зображення в компактний латентний простір, а модель дифузії генерує всередині цього стисненого простору. Команда Linum стверджує, що цей розподіл праці досяг межі. У своєму звіті вони зазначають, що VAE, «схоже, мають емпіричну межу ступеня стиснення, якого вони можуть досягти», що подальше посилення стиснення вимагає суттєвих змін у традиційній архітектурі, і що вдосконалення реконструкції VAE може фактично погіршити покоління моделі дифузії вниз за течією.

Їхня відповідь полягає в тому, щоб повністю видалити VAE. P-JiT — це модель піксельного простору — модель дифузії працює безпосередньо з пікселями та вивчає приховану цільово створену для власного використання, стискаючи та генеруючи водночас. Справа в тому, що одна наскрізна навчена модель може вичавити більше з того самого обчислення, ніж передача між двома спеціалізованими мережами.

Технічна виплата

Назва архітектури вказує на її токенізацію у формі піраміди. У той час як більшість сучасних моделей — Linum наводить FLUX-2 як типовий приклад — використовують скорочення маркерів 16×16, P-JiT досягає зменшення маркерів 32×32, що представляє зображення 512×512 у бюджеті маркерів, який раніше був потрібний для зображення 256×256. Це означає зменшення вікна контексту уваги в 4 рази, а увага є саме тим вузьким місцем O(n²), яке робить навчання та висновки дорогими для генеративного відео.

Результати, згідно з власними вимірюваннями команди: P-JiT збігається в 11 разів менше зразків, ніж Linum v2, попередня модель лабораторії, побудована на більш стандартному рецепті дифузії Wan VAE плюс DiT. За 21 тисячу доларів — 660 мільйонів навчальних зразків — створено модель, яку команда описує як напрочуд компетентну, враховуючи її розмір.

Що можна купити за 21 тисячу доларів

Реліз містить 249 зразків зображень із підказками, що охоплюють людей (57), тварин (42), будівлі (20), продукти (43), пейзажі (19) і стилізовані рендери (68). Команда відверта щодо позиціонування: це «експериментальний випуск» і «сходинка» до їх справжньої мети — відеомоделі. Зразки демонструють, що архітектура стабільно тренується та створює узгоджені зображення за незначну частину бюджету звичайного навчання, а не те, що вона відповідає передовим моделям зображень за якістю.

Опис також примітний тим, як команда документує режими невдач поряд з результатами. Вони перераховують обмеження своєї моделі безпосередньо в польових нотатках, а не ховають їх, що стає все більш поширеною практикою серед невеликих лабораторій, чия репутація залежить від довіри, а не від маркетингових бюджетів. Публікація є четвертим записом у серії команди «Road to Linum v3», яка базується на попередній ітерації, де вперше було описано архітектуру P-JiT — поточний технічний журнал, який дозволяє стороннім дослідникам стежити за кожним проектним рішенням, включаючи ті, які не спрацювали.

Для контексту щодо цифри вартості: 21 тисяча доларів Linum покрила обчислення для 660 мільйонів вибірок моделі 2B-параметрів. Це не можна прямо порівняти з бюджетами передових лабораторій, які охоплюють збір даних, укомплектування персоналом і експерименти протягом багатьох перерваних прогонів. Він встановлює граничну вартість одного успішного, відкрито задокументованого навчального запуску — певну кількість окремі дослідники та університетські лабораторії тепер можуть реалістично спланувати.

Заявлені амбіції Linum — творчі інструменти, які демократизують доступ до анімації. Команда критикує сучасне генеративне відео за те, що воно надто повільне й дороге, а також не має чітких елементів керування — ця комбінація, як вони стверджують, робить його «фактично марним для оповідання історій», оскільки творча робота за своєю суттю повторюється: ви робите, ви налаштовуєте, ви стаєте кращими. Дешевше навчання та швидший висновок є передумовою для генерації відео, яке справді відповідає робочому процесу редагування.

Маленькі лабораторії, великі сигнали

Економіка, представлена тут, має значення не тільки для одного стартапу. Навчальні цикли, які колись визначали межі галузі — вимірювані мільйонами доларів — тепер порівнюються у вузьких сферах командами з двох, які витрачають менше, ніж типова річна зарплата старшого інженера. Випуски відкритого рівня в такому масштабі дають незалежним дослідникам можливість перевіряти, налаштовувати та створювати архітектури продуктивного рівня без інституційної підтримки.

Справедливо сказати про застереження: модель 2B перетворення тексту в зображення далека від кращого рівня якості зображення, а твердження Linum щодо конвергенції є власними оцінками, а не незалежними тестами. Але випуск повністю відтворюється — код і ваги під Apache 2.0 — це означає, що будь-який скептик може безпосередньо виміряти твердження. Це більше, ніж будь-який окремий тест, що робить релізи для невеликих лабораторій, як цей, варті уваги: ​​докази можна завантажити.

Будьте попереду ШІ

Дослідження, які колись вимагали корпоративної лабораторії, тепер поміщаються на кредитну картку. Слідкуйте за кожним проривом у наших новинах дослідження ШІ.

Читати більше новин AI →