Ein zweiköpfiges Forschungslabor hat ein Text-zu-Bild-Modell für etwa 21.000 US-Dollar trainiert – und es unter einer völlig freizügigen Lizenz veröffentlicht. Linum, gegründet von den Co-CEOs Sahil Chopra und Manu Chopra, veröffentlichte die Ergebnisse am 4. November in einem technischen Feldnotizen-Beitrag, in dem ein 2-Milliarden-Parameter-Pixel-JiT (P-JiT)-Modell detailliert beschrieben wurde, das auf 660 Millionen Proben trainiert wurde, als Proof-of-Concept auf dem Weg zu größeren Videomodellen. Sowohl der Modellcode als auch die Gewichte sind unter Apache 2.0 verfügbar, einer Lizenz, die eine kommerzielle Nutzung ohne Einschränkung erlaubt. Dies ist ein auffälliger Datenpunkt in der Debatte darüber, wie viel KI-Forschung in Spitzenqualität tatsächlich kostet, ein Thema, das wir in unserer [KI-Forschungsberichterstattung] (https://aibuzzwire.news) verfolgen.

Warum die VAE überspringen?

Die meisten modernen Pipelines zur Bilderzeugung komprimieren Bilder mit einem separaten Variations-Autoencoder (VAE): Der VAE komprimiert ein Bild in einen kompakten latenten Raum, und in diesem komprimierten Raum wird ein Diffusionsmodell generiert. Linums Team argumentiert, dass diese Arbeitsteilung an ihrer Grenze angelangt sei. In ihrem Artikel stellen sie fest, dass VAEs „anscheinend eine empirische Obergrenze für die Komprimierungsmenge haben, die sie erreichen können“, dass eine weitere Steigerung der Komprimierung erhebliche Eingriffe in die traditionelle Architektur erfordert und dass eine Verbesserung der Rekonstruktion eines VAE die Generationen des Downstream-Diffusionsmodells tatsächlich verschlechtern kann.

Ihre Antwort besteht darin, die VAE vollständig zu entfernen. P-JiT ist ein Pixelraummodell – das Diffusionsmodell arbeitet direkt mit Pixeln und lernt ein latentes, speziell für seinen eigenen Anwendungsfall entwickeltes, Komprimieren und Generieren gleichzeitig. Die Wette besteht darin, dass ein einzelnes, Ende-zu-Ende trainiertes Modell mehr aus derselben Rechenleistung herausholen kann als eine Übergabe zwischen zwei spezialisierten Netzwerken.

Die technische Auszahlung

Der Name der Architektur bezieht sich auf ihre pyramidenförmige Tokenisierung. Während die meisten aktuellen Modelle – Linum nennt FLUX-2 als typisches Beispiel – eine 16×16-Token-Reduzierung verwenden, erreicht P-JiT eine 32×32-Token-Reduzierung, was einem 512×512-Bild im Token-Budget entspricht, das zuvor für ein 256×256-Bild benötigt wurde. Das führt zu einer 4-fachen Reduzierung des Aufmerksamkeitskontextfensters, und Aufmerksamkeit ist genau der O(n²)-Engpass, der sowohl Training als auch Inferenz für generative Videos teuer macht.

Die Ergebnisse laut eigenen Messungen des Teams: P-JiT konvergiert in 11-mal weniger Proben als Linum v2, das Vorgängermodell des Labors, das auf dem eher standardmäßigen Wan-VAE-plus-DiT-Diffusionsrezept aufbaut. Der 21.000-Dollar-Lauf – 660 Millionen Trainingsbeispiele – brachte ein Modell hervor, das das Team angesichts seiner Größe als überraschend kompetent bezeichnet.

Was man für 21.000 $ kauft

Die Veröffentlichung enthält 249 Beispielbilder mit ihren Eingabeaufforderungen, darunter Menschen (57), Tiere (42), Gebäude (20), Produkte (43), Landschaften (19) und stilisierte Darstellungen (68). Das Team äußert sich offen zu seiner Positionierung: Dies sei eine „experimentelle Veröffentlichung“ und ein „Sprungbrett“ zu ihrem eigentlichen Ziel, einem Videomodell. Die Beispiele zeigen, dass die Architektur zu einem Bruchteil des herkömmlichen Trainingsbudgets stabil trainiert und kohärente Bilder erzeugt, nicht aber, dass sie hinsichtlich der Qualität mit Grenzbildmodellen mithalten kann.

Der Artikel zeichnet sich auch dadurch aus, dass das Team neben den Ergebnissen auch Fehlermodi dokumentiert. Sie nennen die Einschränkungen ihres Modells direkt in den Feldnotizen, anstatt sie zu vertuschen, eine zunehmend gängige Praxis bei kleineren Laboren, deren Ruf eher von Glaubwürdigkeit als von Marketingbudgets abhängt. Der Beitrag ist der vierte Eintrag in der „Road to Linum v3“-Reihe des Teams und baut auf einer früheren Iteration auf, in der die P-JiT-Architektur erstmals beschrieben wurde – ein laufendes technisches Protokoll, das es externen Forschern ermöglicht, jede Designentscheidung zu verfolgen, einschließlich derjenigen, die nicht funktioniert haben.

Zum Kontext der Kostenzahl: Die 21.000 US-Dollar von Linum deckten die Rechenleistung für einen Trainingslauf des 2B-Parameter-Modells mit 660 Millionen Stichproben ab. Das ist nicht direkt mit den Budgets von Grenzlaboren vergleichbar, die sich auf Datenerfassung, Personalausstattung und Experimente über viele abgebrochene Läufe erstrecken. Es ermittelt jedoch die Grenzkosten eines erfolgreichen, offen dokumentierten Trainingslaufs – eine Zahl, mit der einzelne Forscher und Universitätslabore jetzt realistisch planen können.

Linums erklärtes Ziel sind kreative Werkzeuge, die den Zugang zu Animationen demokratisieren. Die Kritik des Teams am heutigen generativen Video lautet, dass es zu langsam und teuer sei und es ihm an fein abgestimmten Steuerungen fehle – eine Kombination, die es ihrer Meinung nach „praktisch für das Geschichtenerzählen unbrauchbar macht“, da kreative Arbeit von Natur aus iterativ ist: Man macht, man optimiert, man wird besser. Kostengünstigeres Training und schnellere Schlussfolgerungen sind in ihrem Rahmen die Voraussetzung für eine Videogenerierung, die tatsächlich zu einem Bearbeitungsworkflow passt.

Kleine Labore, große Signale

Die hier gezeigten Wirtschaftswissenschaften sind von Bedeutung, die über ein einzelnes Startup hinausgeht. Schulungsläufe, die einst die Grenzen des Fachgebiets definierten – gemessen in Millionen von Dollar – werden heute in engen Bereichen von Zweierteams erreicht, die weniger als das Jahresgehalt eines typischen leitenden Ingenieurs ausgeben. Open-Weights-Releases dieser Größenordnung geben unabhängigen Forschern die Möglichkeit, Architekturen in Produktionsqualität ohne institutionelle Unterstützung zu prüfen, zu verfeinern und darauf aufzubauen.

Die Vorbehalte sind berechtigt: Ein 2B-Text-zu-Bild-Modell ist weit von der Grenze der Bildqualität entfernt, und Linums Konvergenzbehauptungen sind eher Selbstberichte als unabhängige Benchmarks. Aber die Veröffentlichung ist vollständig reproduzierbar – Code und Gewichte unter Apache 2.0 – was bedeutet, dass jeder Skeptiker die Behauptungen direkt messen kann. Das ist mehr als jeder einzelne Benchmark, der Veröffentlichungen aus kleinen Laboren wie diese sehenswert macht: Der Beweis ist herunterladbar.

Bleiben Sie der KI immer einen Schritt voraus

Forschung, für die früher ein Firmenlabor erforderlich war, passt jetzt auf eine Kreditkarte. Verfolgen Sie jeden Durchbruch in unseren KI-Forschungsnachrichten.

Weitere KI-Neuigkeiten lesen →