DeepSeek dispose de DeepInfer en open source, le cadre d'inférence hautes performances qui, selon le laboratoire chinois d'IA, alimente ses propres services de production à grande échelle. Le code est apparu sur GitHub sous la licence Apache 2.0 et avait déjà collecté plus de 5 500 étoiles en quelques jours, après qu'une discussion de Hacker News sur la version ait attiré des centaines de votes positifs lundi.

Selon le README du projet, la version fournit une inférence hors ligne avec les fonctionnalités principales sur lesquelles DeepSeek s'appuie pour servir ses modèles à grande échelle. La configuration par défaut cible DeepSeek-V4.1-Flash et le framework télécharge automatiquement le point de contrôle DeepSeek-V4.1-Flash-1017 depuis Hugging Face lors de la première exécution. Pour plus de contexte sur cette histoire, consultez notre actualités IA.

Ce que DeepInfer inclut réellement

DeepInfer n'est pas une réécriture à partir de zéro. Il relie les noyaux spécialisés que DeepSeek a publiés pièce par pièce au cours des deux dernières années – FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect et les noyaux TileLang personnalisés – en un seul environnement d'exécution avec exécution de modèle et d'échantillonneur intégrée.

Le framework fournit également plusieurs techniques de service qui sont documentées en détail dans le référentiel :

  • Vérification planifiée par confiance, une approche de décodage spéculatif qui utilise des brouillons de jetons et des estimations de confiance pour planifier la vérification, contrôlable via des variables d'environnement.
  • Relecture limitée du décodeur SWA, qui réduit le travail de pré-remplissage du décodeur en rejouant uniquement un suffixe limité de la séquence
  • Planification asynchrone qui chevauche la planification par lots du processeur avec l'exécution du périphérique, activée par défaut
  • Inférence invariante par lot, qui maintient les résultats du modèle identiques dans différentes compositions de lots
  • Échantillonnage déterministe, produisant des sorties identiques pour des entrées et des paramètres d'échantillonnage identiques
  • Sorties structurées, limitant la génération à une expression régulière, un schéma JSON ou une grammaire EBNF

Cette combinaison s’adresse directement aux opérateurs qui ont besoin d’une génération de texte reproductible et à haut débit plutôt que de jouets expérimentaux. L'invariance par lots et l'échantillonnage déterministe sont particulièrement importants pour les entreprises qui doivent vérifier pourquoi un modèle a produit un résultat donné.

NVIDIA et Huawei Ascend, côte à côte

Le détail le plus surveillé est le support matériel. DeepInfer cible les GPU NVIDIA SM100 via CUDA 13 et les NPU Huawei Ascend 950 via CANN 9.2, Linux, GCC 13 et Python 3.12 étant répertoriés comme conditions préalables pour les deux chemins.

Cette position à double plate-forme est cohérente avec l'histoire récente de DeepSeek. La société a passé des mois à développer un logiciel basé sur TileLang pour le matériel Ascend et à contester publiquement l'hypothèse selon laquelle CUDA est irremplaçable. L'envoi d'un cadre d'inférence de production qui traite Ascend comme un citoyen de première classe – plutôt qu'une recherche après coup – étend cette stratégie, et elle arrive à un moment où les contrôles américains à l'exportation continuent de restreindre les puces Nvidia que les entreprises chinoises peuvent acheter.

Pour les opérateurs de cloud chinois exécutant du silicium national, un moteur d'inférence maintenu prenant en charge Ascend 950 supprime l'un des obstacles pratiques à la fourniture de modèles ouverts de classe frontière en dehors de l'écosystème Nvidia.

Ce qui manque dans la version

Le README indique clairement qu'il ne s'agit pas encore d'une pile de service complète. Un déploiement de production basé sur DeepInfer nécessite toujours trois composants que la version n'inclut pas : un système de cache KV, une désagrégation de pré-remplissage et de décodage et un équilibrage de charge entre les répliques parallèles de données. Le référentiel note que la plupart des fonctionnalités du moteur requises pour la désagrégation sont déjà implémentées, mais que les systèmes environnants sont laissés à l'opérateur.

En pratique, cela signifie que DeepInfer est mieux compris comme le moteur de calcul de l'infrastructure de DeepSeek plutôt que comme une alternative clé en main aux frameworks de service communautaire. Les équipes devraient toujours l'intégrer aux couches de mise en cache et de routage avant de le placer devant le trafic réel.

Pourquoi c'est important

L'activité de DeepSeek repose sur la fourniture de modèles à un prix extrêmement bas, et les aspects économiques de cette activité ont fait l'objet d'un examen minutieux alors que la société se dirige vers ce qu'elle a décrit comme une évolution des prix par rapport à son positionnement antérieur à faible coût. L'ouverture du chemin d'inférence de production réel (et pas seulement du code de recherche) donne aux développeurs externes et aux fournisseurs de cloud un aperçu inhabituellement direct des techniques à l'origine de ces coûts.

Cela poursuit également un modèle délibéré. FlashMLA, DeepGEMM et DeepEP ont tous été publiés individuellement au fur et à mesure que le laboratoire construisait sa pile ; DeepInfer documente efficacement la façon dont les pièces s'emboîtent. Pour les chercheurs, cette version facilite la reproduction des allégations de performances publiées par DeepSeek. Pour les concurrents, cela place la barre plus haut en ce qui concerne ce qui compte comme une pile d'inférence ouverte.

La licence Apache 2.0 autorise une utilisation commerciale sans obligations de copyleft, ce qui signifie que les fournisseurs de cloud occidentaux pourraient la déployer légalement – ​​bien que la prise en charge de son modèle soit actuellement limitée au point de contrôle V4.1-Flash de DeepSeek, la plupart la traiteront donc comme une implémentation de référence pour l'instant.

Que regarder

Trois questions détermineront si DeepInfer sera largement adopté ou restera une curiosité. Premièrement, si la communauté le porte au-delà de la V4.1-Flash vers d'autres architectures de modèles. Deuxièmement, si les résultats des tests publiés dans les tableaux de performances du référentiel résistent sur le matériel en dehors des propres clusters de DeepSeek. Troisièmement, si les éléments manquants (gestion du cache KV, désagrégation et équilibrage de charge) arriveront dans les versions futures, transformant le moteur en un cadre de service complet.

Pour l’instant, cette publication constitue une démarche de transparence notable de la part d’un laboratoire qui a choisi à plusieurs reprises de publier l’infrastructure sous ses modèles. Les développeurs qui souhaitent expérimenter peuvent créer DeepInfer à partir des sources sur l'une ou l'autre des plates-formes prises en charge et exécuter une inférence hors ligne avec un seul exemple de script.

---

Restez à la Pointe de l'IA

Les dernières actualités, analyses et percées en IA — au même endroit.

Lire plus d'actualités IA →