Deutsches Konsortium veröffentlicht Soofi S, ein offenes 30B-Modell, das englische und deutsche Benchmarks übertrifft

Ein Konsortium aus deutschen Forschungseinrichtungen und KI-Unternehmen hat Soofi S 30B-A3B veröffentlicht, ein offenes Sprachmodell, das laut Projekt sowohl bei englischen als auch bei deutschen Benchmarks unter den vollständig offenen Modellen die höchsten Ergebnisse erzielt. Das vom KI-Bundesverband, dem nationalen KI-Verband Deutschlands, koordinierte Release ist eines der ersten großen Sprachmodelle, das vollständig auf der Industrial AI Cloud der Deutschen Telekom in München trainiert wurde, und positioniert sich als souveräne europäische Alternative zu den dominierenden US-amerikanischen und chinesischen Open-Weight-Releases. Für Entwickler, die [die neuesten KI-Entwicklungen] (https://aibuzzwire.news) verfolgen, ist der Start weniger wegen seiner Größe als vielmehr wegen der ungewöhnlichen Effizienz und dem Sprachfokus, die in die Architektur integriert sind, bemerkenswert.

Ein Hybriddesign mit nur 3,2 Milliarden aktiven Parametern

Soofi S ist ein Mix-of-Experts-Modell (MoE) mit insgesamt 31,6 Milliarden Parametern, das jedoch nur etwa 3,2 Milliarden pro generiertem Token aktiviert. Damit liegen die Rechenkosten näher an einem 3-Milliarden-Parameter-Modell als an einem herkömmlichen dichten 30-Milliarden-Parameter-Modell, eine Designentscheidung, die darauf abzielt, die Inferenz kostengünstig genug zu halten, um auf europäischer Infrastruktur ausgeführt zu werden, ohne auf ausländische Cloud-Anbieter angewiesen zu sein.

Die Architektur ist dem Nemotron 3 Nano von Nvidia entlehnt und kombiniert Mamba-2-Schichten mit Standard-Aufmerksamkeitsschichten in einem Hybrid-Layout. Laut dem Vortrainingsbericht des Projekts unterhalten nur 6 der 52 Schichten des Modells einen Schlüsselwert-Cache (KV) – die Speicherstruktur, die frühere Token zur Aufmerksamkeitsberechnung speichert. Bei herkömmlichen Transformatoren wächst dieser Cache linear mit der Kontextlänge und wird zu einem großen Engpass bei der Inferenz über lange Kontexte.

Der praktische Nutzen zeigt sich im Durchsatz. Bei einer Kontextlänge von 40.000 Token mit 32 parallelen Anfragen generiert Soofi S etwa achtmal mehr Token pro Sekunde und GPU als dichte Modelle im Bereich von 14 bis 24 Milliarden Parametern. Während die Generierungsgeschwindigkeit bei herkömmlichen Modellen mit zunehmendem Kontext stark abnimmt, bleibt Soofi S von 4.000 Token bis hin zu 256.000 Token nahezu unverändert. Das einzige vergleichbare Modell in den Messungen des Konsortiums ist Alibabas Qwen3.5 35B-A3B, das ebenfalls eine Hybridarchitektur nutzt.

Ausgebildet für Deutsch, ohne auf Englisch zu verzichten

Der bewusste Fokus auf Deutsch steht im Mittelpunkt des Projekts. In der ersten Trainingsphase macht Deutsch 7,2 Prozent des Datenmixes aus; in der zweiten Phase steigt dieser Anteil auf 15,3 Prozent. Im Vergleich dazu machen in Nvidias Nemotron-Referenzrezept alle nicht-englischen Sprachen zusammen nur etwa 5 Prozent des Trainingsmixes aus.

Zu den Datenquellen gehören deutsche Webtexte aus dem HPLT-Korpus, dem offen lizenzierten German Commons-Korpus, deutschen Teilen von FinePDFs und FineWiki sowie dem kommerziell lizenzierten Genios-Archiv mit 193 Millionen Zeitungsartikeln aus 916 deutschen Publikationen. Maschinell übersetzte und synthetisch generierte deutsche Texte runden das Angebot ab.

Das Modell verarbeitete etwa 27 Billionen Token in drei Trainingsphasen: etwa 20 Billionen Token aus breitem Web-, Code-, Mathematik- und domänenspezifischem Text in der ersten Phase; rund 6 Billionen höherwertige Token im zweiten; und eine kürzere dritte Phase, die das Kontextfenster mit Dokumenten mit einer Länge von bis zu einer Million Token erweitert.

Benchmark-Ergebnisse: Vorsprung in Deutsch und Englisch, schwächer in Mathematik

Nach Angaben des Konsortiums führt Soofi S bei Bewertungen mit 16 anderen offenen Modellen alle vollständig offenen Modelle in Bezug auf die Gesamtpunktzahl sowohl für Deutsch als auch für Englisch an. Dazu gehören OLMo 3 32B vom Allen Institute for AI und Apertus 70B von der ETH Zürich und der EPFL. Im Vergleich zu allen europäischen Staatsanleihen schneidet das Modell bei allen deutschen Benchmarks in der Suite ab, teilweise mit zweistelligen Margen.

Bei Codeaufgaben erreicht Soofi S 73,8 Prozent bei HumanEval, 70,2 Prozent bei MBPP und 84,2 Prozent bei der deutschen MBPP-Variante – die besten Ergebnisse unter Open-Source-Kollegen. Beim INCLUDE-DE, einem Test für deutschlandspezifische Regionalkenntnisse, belegt Soofi S mit 61,2 Punkten gemeinsam mit dem größeren Qwen3.5 35B-A3B den ersten Platz. Im Vergleich zur Nemotron-Basislinie verbessert das mit Deutsch gewichtete Datenrezept die Sprachkompetenz um 15,1 Punkte und der GPQA-Diamond-Wissenschaftsbenchmark um 9,6 Punkte, ohne die Englischleistung zu beeinträchtigen.

Es gibt klare Schwächen. Im deutschen Mathematikwettbewerb (Minerva MATH-DE) erreicht Soofi S 56 Punkte und liegt damit deutlich hinter Qwen3.5 35B-A3B mit 76,5 und Gemma 3 27B mit 65,6. Es liegt auch hinter der offenen faktenbasierten Abfrage in NaturalQuestions zurück, die das Team darauf zurückführt, dass es nur etwa 3 Milliarden aktive Parameter und daher weniger gespeichertes Weltwissen als ein dichtes 27B-Modell gibt. Der Long-Context-Test von RULER deckt eine weitere Lücke auf: Wenn das Modell häufig vorkommende Wörter aus einem langen Text extrahieren muss, sinkt seine Trefferquote ab 32.000 Token auf rund 3 Prozent, während das vergleichbare Nemotron-Modell immer noch 60 bis 64 Prozent schafft.

Schulung auf 512 Nvidia B200 GPUs in München

Der Trainingslauf fand zwischen März und Mai 2026 auf bis zu 512 Nvidia B200-GPUs in der Industrial AI Cloud der Deutschen Telekom in München statt und umfasste insgesamt rund 253.000 GPU-Stunden. Die Anlage wird vollständig mit erneuerbarer Energie betrieben, mit Wasser aus dem Eisbachkanal gekühlt und speist Abwärme in das umliegende Tucherpark-Quartier ein, heißt es in dem Bericht. Soofi S war einer der ersten großen Trainingsläufe, die auf dieser Infrastruktur durchgeführt wurden.

Das hinter dem Modell stehende Konsortium wird vom Bundesministerium für Wirtschaft und Energie im Rahmen des europäischen IPCEI-CIS-Programms gefördert. Beteiligt sind unter anderem die Fraunhofer-Institute IAIS und IIS, das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI), die TU Darmstadt, die Universität Würzburg, das Forschungszentrum L3S, die Hochschule für Technik und Wirtschaft Berlin sowie die KI-Unternehmen Ellamind und Merantix Momentum.

Eine Debatte über „Übertraining“

Kurz nach der Einführung argumentierten Kritiker, dass Soofi S durch die Standards der klassischen Chinchilla-Skalierungsgesetze, die 2022 von Google DeepMind veröffentlicht wurden, stark übertrainiert sei, was einen groben Sweet Spot von 20 Token pro Parameter nahelegte. Bei 27 Billionen Token und rund 30 Milliarden Parametern kommt Soofi S auf mehrere hundert Token pro Parameter; Wenn man nur die 3,2 Milliarden aktiven Parameter zählt, geht das Verhältnis in die Tausende.

Michael Fromm, Teil der technischen Leitung des Projekts, wies diese Kritik zurück und argumentierte, dass diese Regeln nicht auf MoE-Architekturen übertragbar seien. „Neue Forschungsergebnisse zeigen, dass die alten Skalierungsgesetze aus dichten Modellen nicht mehr für MoE-Architekturen gelten“, sagte Fromm und wies darauf hin, dass einzelne Experten davon profitieren, wenn sie dieselben Dokumente wiederholt in einem großen, qualitativ hochwertigen Datensatz sehen. Als Vergleich verwies er auf Nvidia, das seine eigenen Modelle auf bis zu 25 Billionen Token trainiert hat.

Was wird veröffentlicht und was nicht

Die Forscher veröffentlichen Modellgewichte zusammen mit ausgewählten Zwischenkontrollpunkten, dem vollständigen Trainings- und Bewertungscode und einem detaillierten Dateninventar, das die Anzahl der Roh-Token, Epochenzahlen und effektive Beiträge pro Quelle auflistet. Nach Angaben des Teams bedeutet dies, dass Soofi S die Open Source AI Definition 1.0 der Open Source Initiative erfüllt.

Einem strengeren Vorschlag für eine europäische Open-Data-Definition, der vorsieht, dass jeder einzelne Trainings-Token frei verteilbar sein muss, wird nicht entsprochen, da 1,3 Prozent des Mixes aus dem kommerziell lizenzierten Genios-Korpus stammen. Dem Bericht zufolge können etwa 99 Prozent der Trainingsdaten noch unabhängig rekonstruiert werden. Die genaue Lizenz für die Veröffentlichung des Modells stand zum Zeitpunkt der Veröffentlichung noch nicht fest.

Das Konsortium sucht nun nach Industriepartnern für die nächste Phase, um Soofi S in Anwendungen zu testen, die technische Dokumente, Codegenerierung und agentenbasierte Systeme umfassen. Weitere Informationen zu Open-Weight-Modellveröffentlichungen, souveräner KI-Infrastruktur und dem europäischen KI-Ökosystem finden Sie in der hier veröffentlichten KI-Branchenberichterstattung.

Bleiben Sie bei Open-Source-KI an der Spitze

Fast wöchentlich kommen Open-Weight-Releases aus Laboren in den USA, China und jetzt auch Europa hinzu, und die Kluft zwischen den größten proprietären Modellen und den besten offenen Alternativen wird immer kleiner. Verfolgen Sie hier die aktuellen KI-Nachrichten und die Benchmark-Analyse, um ein vollständiges Bild zu erhalten.

Lesen Sie mehr über die Berichterstattung über KI-Modelle →