ドイツの研究機関と AI 企業のコンソーシアムは、オープン言語モデルである Soofi S 30B-A3B をリリースしました。このプロジェクトでは、完全にオープンなモデルの中で、英語とドイツ語の両方のベンチマークで最高のスコアを達成したとしています。ドイツの全国 AI 協会である KI Bundesverband によって調整されたこのリリースは、ミュンヘンにあるドイツテレコムの産業用 AI クラウド上で完全にトレーニングされた最初の大規模言語モデルの 1 つであり、支配的な米国と中国の無差別リリースに代わる主権欧州の代替として位置付けられています。 最新の AI 開発 を追跡している開発者にとって、今回の発表は、生のスケールよりも、アーキテクチャに組み込まれた異常な効率性と言語への焦点により注目に値します。

わずか 32 億のアクティブなパラメータを備えたハイブリッド設計

Soofi S は、合計 316 億のパラメーターを備えた専門家混合 (MoE) モデルですが、生成されたトークンごとに有効化されるのは約 32 億のみです。これにより、コンピューティングコストは従来の 300 億パラメータの高密度モデルよりも 30 億パラメータのモデルに近くなります。これは、海外のクラウドプロバイダーに依存せずにヨーロッパのインフラストラクチャで実行できるほど推論を安価に保つことを目的とした設計上の選択です。

このアーキテクチャは Nvidia の Nemotron 3 Nano から借用されており、Mamba-2 レイヤーと標準のアテンション レイヤーをハイブリッド レイアウトで組み合わせています。プロジェクトの事前トレーニング レポートによると、モデルの 52 層のうち 6 層だけがキーバリュー (KV) キャッシュ、つまりアテンション計算のための以前のトークンを保存するメモリ構造を維持しています。従来のトランスフォーマーでは、そのキャッシュはコンテキストの長さに応じて直線的に増加し、長いコンテキストの推論中に大きなボトルネックになります。

実際の効果はスループットに現れます。 32 の並列リクエストを伴う 40,000 トークンのコンテキスト長では、Soofi S は 140 ～ 240 億パラメーターの範囲の高密度モデルと比べて、GPU あたり 1 秒あたり約 8 倍多くのトークンを生成します。従来のモデルの生成速度はコンテキストが成長するにつれて急激に低下しますが、Soofi S は 4,000 トークンから 256,000 トークンまでほぼ横ばいです。コンソーシアムの測定で唯一比較可能なモデルは、アリババの Qwen3.5 35B-A3B で、これもハイブリッド アーキテクチャを採用しています。

英語を犠牲にすることなくドイツ語のトレーニングを受けました

ドイツ語に意図的に焦点を当てることが、このプロジェクトの中心となっています。最初のトレーニング段階では、ドイツ語がデータ ミックスの 7.2% を占めます。第 2 フェーズでは、そのシェアは 15.3 パーセントに上昇します。比較すると、Nvidia の Nemotron リファレンス レシピでは、英語以外の言語を合わせても、トレーニング ミックスの約 5% しか占めていません。

データ ソースには、HPLT コーパス、オープン ライセンスのドイツ コモンズ コーパス、FinePDF および FineWiki のドイツ語部分、および 916 のドイツの出版物から抽出された 1 億 9,300 万の新聞記事の商用ライセンスされた Genios アーカイブからのドイツ語 Web テキストが含まれます。機械翻訳され、合成的に生成されたドイツ語テキストがミックスを完成させます。

このモデルは、3 つのトレーニング フェーズ全体で約 27 兆のトークンを処理しました。最初のフェーズでは、ブロード Web、コード、数学、およびドメイン固有のテキストの約 20 兆のトークンが処理されました。 2番目では約6兆の高品質トークン。そして、より短い第 3 フェーズでは、最大 100 万トークンの長さのドキュメントを使用してコンテキスト ウィンドウを拡張します。

ベンチマークの結果: ドイツ語と英語が優れ、数学が苦手

同コンソーシアムによると、他の16のオープンモデルと比較した評価では、ドイツ語と英語の両方の合計スコアでSoofi Sがすべての完全オープンモデルをリードしているという。これには、Allen Institute for AI の OLMo 3 32B やチューリッヒ工科大学と EPFL の Apertus 70B が含まれます。欧州のすべてのソブリンベースラインに対して、このモデルは、スイート内のすべてのドイツのベンチマークで、場合によっては 2 桁のマージンで上回っています。

コード タスクに関して、Soofi S は HumanEval で 73.8 パーセント、MBPP で 70.2 パーセント、ドイツ版 MBPP バリアントで 84.2 パーセントのスコアを獲得しました。これは、オープンソース ピアの中で最高の結果です。ドイツ特有の地域知識を問うテストである INCLUDE-DE では、Soofi S が 61.2 ポイントで、より大型の Qwen3.5 35B-A3B と同点で 1 位となりました。 Nemotron ベースラインと比較して、ドイツ語加重データ レシピは、英語のパフォーマンスを損なうことなく、言語熟練度を 15.1 ポイント、GPQA-Diamond 科学ベンチマークを 9.6 ポイント向上させました。

明らかな弱点がある。ドイツの競技数学 (Minerva MATH-DE) では、Soofi S が 56 点を獲得し、Qwen3.5 35B-A3B の 76.5 点や Gemma 3 27B の 65.6 点に大きく遅れをとりました。また、NaturalQuestions でのオープンな事実検索も追跡しています。これはアクティブなパラメーターが約 30 億しかないため、高密度の 27B モデルよりも世界の知識が保存されていないことが原因であるとチームは考えています。 RULER の長いコンテキスト テストでは、別のギャップが浮き彫りになります。モデルが長いテキストから頻繁に出現する単語を抽出する必要がある場合、そのヒット率は 32,000 トークンを超えると約 3% に低下しますが、同等の Nemotron モデルは依然として 60 ～ 64% を管理します。

ミュンヘンの 512 台の Nvidia B200 GPU でトレーニング

トレーニングの実行は、2026 年 3 月から 5 月にかけて、ミュンヘンにあるドイツテレコムの産業用 AI クラウドにある最大 512 台の Nvidia B200 GPU で行われ、合計約 253,000 GPU 時間になりました。報告書によると、この施設は完全に再生可能エネルギーで稼働しており、アイスバッハ運河からの水で冷却され、周囲のトゥッチャーパーク地区に廃熱を供給しているという。 Soofi S は、このインフラストラクチャ上で実施された最初の大規模なトレーニングの 1 つです。

このモデルの背後にあるコンソーシアムは、欧州 IPCEI-CIS プログラムの一環としてドイツ連邦経済エネルギー省から資金提供を受けています。参加者には、フラウンホーファー研究所 IAIS および IIS、ドイツ人工知能研究センター (DFKI)、ダルムシュタット工科大学、ヴュルツブルク大学、L3S 研究センター、ベルリン応用科学大学、AI 企業の Ellamind および Merantix Momentum が含まれます。

「オーバートレーニング」をめぐる議論

ローンチ直後、批評家らは、Soofi S が 2022 年に Google DeepMind によって公開された古典的なチンチラ スケーリング則の基準によって大幅にオーバートレーニングされていると主張しました。この基準では、パラメーターごとに 20 トークンという大まかなスイート スポットが示唆されていました。 27 兆のトークンと約 300 億のパラメーターを備えた Soofi S は、パラメーターごとに数百のトークンを使用します。 32 億のアクティブなパラメータだけを数えると、その比率は数千に達します。

プロジェクトの技術リーダーの一員である Michael Fromm 氏は、そのようなルールは MoE アーキテクチャには引き継がれないと主張して、その批判を押し返しました。 「高密度モデルからの古いスケーリング則はもはや MoE アーキテクチャには当てはまらないことを示す新しい研究があります」とフロム氏は述べ、個々の専門家にとっては、大規模で高品質のデータセットで同じ文書を繰り返し見ることで恩恵を受けると指摘しました。同氏は比較の対象として、最大 25 兆のトークンで独自のモデルをトレーニングした Nvidia を指摘しました。

何がリリースされ、何がリリースされないのか

研究者らは、モデルの重みと、選択された中間チェックポイント、完全なトレーニングおよび評価コード、および生のトークン数、エポック番号、およびソースごとの効果的な寄与をリストした詳細なデータ目録を公開しています。チームによると、これは Soofi S が Open Source Initiative の Open Source AI Definition 1.0 に準拠していることを意味します。

すべてのトレーニング トークンを自由に配布可能にすることを要求するヨーロッパのオープンデータ定義のより厳格な提案は、混合の 1.3 パーセントが商用ライセンスされた Genios コーパスからのものであるため、満たされていません。報告書によれば、トレーニング データの約 99% は依然として独立して再構築可能です。このモデルのリリースの正確なライセンスは、公開時点ではまだ確定していませんでした。

コンソーシアムは現在、技術文書、コード生成、エージェントベースのシステムを含むアプリケーションで Soofi S をテストする次の段階に向けた業界パートナーを探しています。オープンウェイト モデルのリリース、主権 AI インフラストラクチャ、ヨーロッパの AI エコシステムの詳細については、ここで公開されている AI 業界の報道 をご覧ください。

オープンソース AI で先を行く

オープンウェイトのリリースは、米国、中国、そして現在はヨーロッパの研究所からほぼ毎週到着しており、最大規模の独自モデルと最良のオープン代替モデルとの間の差は縮まり続けています。全体像については、AI ニュース速報 とここでのベンチマーク分析に従ってください。

AI モデルの記事をもっと読む→