2 人体制のラボ Linum が 21,000 ドルで Text-to-Image モデルをトレーニングし、Apache 2.0 での重みをリリース

2 人のラボ Linum は、VAE をスキップするピクセル空間アーキテクチャを使用して 21,000 ドルで 2B のテキストから画像へのモデルをトレーニングし、Apache 2.0 でリリースしました。

2 人の研究ラボが、テキストから画像へのモデルを約 21,000 ドルでトレーニングし、完全に寛容なライセンスの下でリリースしました。共同 CEO の Sahil Chopra 氏と Manu Chopra 氏によって設立された Linum は、11 月 4 日に技術フィールドノートの投稿で結果を発表し、より大規模なビデオモデルへの道における概念実証として 6 億 6,000 万のサンプルでトレーニングされた 20 億パラメータの Pixel-JiT (P-JiT) モデル について詳しく説明しました。モデルコードと重みは両方とも、制限なく商用利用が許可されるライセンスである Apache 2.0 で利用できます。これは、フロンティア品質の AI 研究に実際にどれくらいの費用がかかるかについての議論における顕著なデータポイントであり、このトピックについては、AI 研究報道でフォローしています。

なぜ VAE をスキップするのでしょうか?

最新の画像生成パイプラインのほとんどは、別の 変動オートエンコーダー (VAE) を使用して画像を圧縮します。VAE は画像をコンパクトな潜在空間に圧縮し、その圧縮空間内に拡散モデルが生成されます。リナム氏のチームは、この分業は限界に達していると主張している。彼らは論文の中で、VAEには「達成できる圧縮量に経験的な上限があるようだ」こと、圧縮をさらに推し進めるには従来のアーキテクチャに大規模な手術が必要であること、VAEの再構築を改善すると実際には下流の拡散モデルの世代を悪化させる可能性があることを指摘している。

彼らの答えは、VAE を完全に削除することです。 P-JiT はピクセル空間モデルです - 拡散モデルはピクセル上で直接動作し、独自のユースケース向けに専用に構築された潜在的なデータを学習し、同時に圧縮と生成を行います。単一のモデルをエンドツーエンドでトレーニングすると、2 つの特殊なネットワーク間でハンドオフするよりも、同じコンピューティングからより多くの情報を絞り出すことができると考えられます。

技術的な成果

このアーキテクチャの名前は、ピラミッド型のトークン化を指します。現在のほとんどのモデル (Linum は典型的な例として FLUX-2 を挙げています) が 16×16 のトークン削減を使用するのに対し、P-JiT は 32×32 のトークン削減を達成し、以前は 256×256 の画像に必要であったトークンバジェットで 512×512 の画像を表します。これは、アテンションコンテキストウィンドウの 4 倍の削減に相当します。アテンションはまさに O(n²) のボトルネックであり、生成ビデオのトレーニングと推論の両方にコストがかかります。

チーム独自の測定による結果: P-JiT は、より標準的な Wan VAE と DiT 拡散レシピに基づいて構築されたラボの以前のモデルである Linum v2 よりも 11 倍少ないサンプルで収束します。 2 万 1,000 ドルの実行 (6 億 6,000 万のトレーニングサンプル) により、その規模を考えると驚くほど有能であるとチームが説明するモデルが生成されました。

21,000 ドルで買えるもの

このリリースには、人 (57)、動物 (42)、建物 (20)、製品 (43)、風景 (19)、様式化されたレンダリング (68) にわたる 249 のサンプル画像とそのプロンプトが含まれています。チームはポジショニングについて率直に述べています。これは「実験的リリース」であり、本当の目標であるビデオモデルへの「足がかり」です。サンプルは、このアーキテクチャが安定してトレーニングし、従来のトレーニング予算の数分の一で一貫性のある画像を生成することを示していますが、品質に関してフロンティア画像モデルと一致しているわけではありません。

この記事は、チームが結果とともに失敗モードを文書化している点でも注目に値します。彼らは、モデルの限界を埋めるのではなく、フィールドノートの投稿に直接列挙します。これは、評判がマーケティング予算ではなく信頼性に左右される小規模な研究室の間でますます一般的になってきています。この投稿は、チームの「Road to Linum v3」シリーズの 4 番目のエントリであり、P-JiT アーキテクチャが最初に説明された以前のイテレーション、つまり機能しなかったものも含め、外部の研究者が各設計上の決定を追跡できる実行中の技術ログに基づいて構築されています。

コストの数値のコンテキスト: Linum の 21,000 ドルは、2B パラメーターモデルの 6 億 6,000 万サンプルのトレーニング実行の計算をカバーしました。これは、データ収集、人員配置、そして多くの中止された実験にわたる実験に及ぶフロンティアラボの予算と直接比較できるものではありません。それが確立しているのは、1 回の成功した、公開文書化されたトレーニング実行の限界コストです。多くの個々の研究者や大学の研究室が、現実的に計画を立てることができるようになりました。

Linum が表明した野心は、アニメーションへのアクセスを民主化するクリエイティブツールです。研究チームの現在のジェネレーティブビデオに対する批判は、遅すぎてコストがかかり、きめ細かなコントロールが欠如しているというものだ。これらの組み合わせにより、クリエイティブな作業は本質的に反復的であり、作成し、微調整し、改善されていくため、「ストーリーテリングには実質的に役に立たない」と彼らは主張している。より安価なトレーニングとより高速な推論は、その枠組みにおいて、編集ワークフローに実際に適合するビデオ生成の前提条件です。

小さな研究所、大きな信号

ここで展示されている経済学は、1 つのスタートアップを超えて重要です。かつてこの分野の最前線を定義していたトレーニングの実施額は数百万ドルに達していましたが、現在では、狭い領域で、典型的な上級エンジニアの年収よりも少ない費用で 2 人からなるチームによって実施されています。この規模のオープンウェイトリリースにより、独立した研究者は、機関の支援なしで実稼働グレードのアーキテクチャを監査、微調整、構築することができます。

この警告は正当です。2B のテキストから画像へのモデルは画質の最前線からは遠く離れており、Linum の収束に関する主張は独自にベンチマークされたものではなく、自己報告されたものです。しかし、このリリースは完全に再現可能であり、コードと重みは Apache 2.0 に基づいています。これは、懐疑的な人でも主張を直接評価できることを意味します。これは、どの単一のベンチマークよりも、このような小規模ラボのリリースが注目に値する理由です。証拠はダウンロード可能です。