DeepSeek は、中国の AI 研究所が自社の大規模本番サービスを強化していると主張する高性能推論フレームワークである DeepInfer をオープンソース化しました。このコードは Apache 2.0 ライセンスに基づいて GitHub に公開され、月曜日にこのリリースに関する Hacker News の議論で数百の賛成票が集まった後、数日以内にすでに 5,500 個以上のスターを集めていました。
プロジェクトの README によると、このリリースでは、DeepSeek がモデルを大規模に提供するために依存するコア機能を備えたオフライン推論が提供されます。デフォルト設定は DeepSeek-V4.1-Flash をターゲットにしており、フレームワークは最初の実行時に Hugging Face から DeepSeek-V4.1-Flash-1017 チェックポイントを自動的にダウンロードします。 この件の詳細は、人工知能の最新情報をご覧ください。
DeepInfer に実際に含まれるもの
DeepInfer は最初から書き直すものではありません。 DeepSeek が過去 2 年間にわたって少しずつリリースしてきた特殊なカーネル (FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect、カスタム TileLang カーネル) を、モデルとサンプラーの実行が組み込まれた単一のランタイムに結合します。
このフレームワークには、リポジトリに詳細に文書化されているいくつかのサービス提供テクニックも同梱されています。
- 信頼スケジュールされた検証。ドラフト トークンと信頼推定値を使用して検証をスケジュールする投機的なデコード アプローチであり、環境変数を通じて制御可能
- デコーダ SWA 制限付きリプレイ。シーケンスの制限付きサフィックスのみを再生することで、デコーダのプリフィル作業を軽減します。
- 非同期スケジューリング。CPU バッチ スケジューリングとデバイスの実行をオーバーラップさせます。デフォルトで有効になっています。
- バッチ不変推論。異なるバッチ構成間でモデルの結果を同一に保ちます。
- 決定論的サンプリング、同一の入力およびサンプリングパラメータに対して同一の出力を生成します。
- 構造化された出力、生成を正規表現、JSON スキーマ、または EBNF 文法に制限します
この組み合わせは、実験的な遊びではなく、再現可能で高スループットのテキスト生成を必要とするオペレーターを真正面からターゲットにしています。バッチ不変性と決定論的サンプリングは、モデルが特定の出力を生成した理由を監査する必要がある企業にとって特に重要です。
NVIDIA と Huawei が並んで上昇
最も注目されている詳細はハードウェアのサポートです。 DeepInfer は、CUDA 13 を介して NVIDIA SM100 GPU、CANN 9.2 を介して Huawei Ascend 950 NPU をターゲットにしており、両方のパスの前提条件として Linux、GCC 13、Python 3.12 がリストされています。
このデュアルプラットフォームのスタンスは、DeepSeek の最近の歴史と一致しています。同社は数か月をかけて、Ascend ハードウェア用の TileLang ベースのソフトウェアを開発し、CUDA が代替不可能であるという前提に公に異議を唱えてきました。 Ascend を後付けの研究ではなく、第一級市民として扱う生産推論フレームワークの出荷は、その戦略を拡張し、米国の輸出規制が中国企業が購入できる Nvidia チップを制限し続けている時代に上陸します。
国内シリコンを実行する中国のクラウド オペレーターにとって、Ascend 950 をサポートする維持された推論エンジンは、Nvidia エコシステム外でフロンティア クラスのオープン モデルを提供する際の実際的な障壁の 1 つを取り除きます。
リリースに欠けているもの
README には、これがまだ完全なサービス スタックではないことが明示されています。 DeepInfer 上に構築された運用環境には、このリリースに含まれていない 3 つのコンポーネントが必要です。それは、KV キャッシュ システム、プリフィルとデコードの分解、データ並列レプリカ間の負荷分散です。リポジトリには、分解に必要なエンジン機能のほとんどがすでに実装されているが、周囲のシステムはオペレーターに任されていることが記載されています。
実際には、DeepInfer はコミュニティ提供フレームワークのターンキー代替品ではなく、DeepSeek インフラストラクチャのコンピューティング エンジンとして最もよく理解されることを意味します。チームは、実際のトラフィックの前にそれを配置する前に、キャッシュ層およびルーティング層とそれを統合する必要があります。
なぜそれが重要なのか
DeepSeek のビジネスはモデルを極めて安価に提供することに依存しており、同社が以前の低コストの位置づけから価格設定を脱却すると同社が表現する方向に向かうにつれて、そのビジネスの経済性は厳しい監視の対象となっている。研究コードだけでなく、実際の運用推論パスを公開することで、外部の開発者やクラウドプロバイダーは、コストの背後にある技術を異常に直接見ることができます。
それはまた、意図的なパターンを継続します。 FlashMLA、DeepGEMM、および DeepEP はすべて、ラボがスタックを構築する際に個別にリリースされました。 DeepInfer は、部分がどのように組み合わされるかを効果的に文書化します。研究者にとって、このリリースにより、DeepSeek が公表したパフォーマンスの主張を簡単に再現できるようになります。競合他社にとっては、オープンな推論スタックとしての基準が引き上げられます。
Apache 2.0 ライセンスはコピーレフトの義務なしで商用利用を許可しているため、西側のクラウド プロバイダーは合法的に Apache 2.0 を導入できることになります。ただし、そのモデルのサポートは現在 DeepSeek 独自の V4.1-Flash チェックポイントに限定されているため、ほとんどの企業は今のところリファレンス実装として扱うでしょう。
何を見るか
3 つの質問によって、DeepInfer が広く採用されるか、それとも好奇心の対象であり続けるかが決まります。まず、コミュニティが V4.1-Flash を超えて他のモデル アーキテクチャに移植するかどうかです。 2 番目は、リポジトリのパフォーマンス テーブルで公開されているベンチマーク結果が、DeepSeek 独自のクラスター外のハードウェアに耐えられるかどうかです。 3 番目に、不足している部分 (KV キャッシュ管理、分解、負荷分散) が将来のリリースで提供され、エンジンが完全なサービス提供フレームワークに変わるかどうかです。
今のところ、このリリースは、モデルの下にあるインフラストラクチャを公開することを繰り返し選択してきた研究室による注目すべき透明性の高い動きです。実験したい開発者は、サポートされているプラットフォームのいずれかでソースから DeepInfer を構築し、単一のサンプル スクリプトを使用してオフライン推論を実行できます。
---
AIの最新情報をお届けAIの最新ニュース、分析、ブレイクスルーを一箇所で。
AIニュースをもっと読む →
