DeepSeek a publié DSpark, un cadre de décodage spéculatif open source qui, selon la société, accélère l'inférence de grands modèles de langage (LLM) jusqu'à 85 % dans le cadre d'un trafic réel, sans aucune perte de qualité de sortie. Décrit dans un nouvel article de DeepSeek-AI et de l'Université de Pékin, le système fonctionne déjà au sein de l'infrastructure de service DeepSeek-V4 qui gère les demandes réelles des utilisateurs.
Le travail s'attaque à l'un des problèmes les plus tenaces de l'IA de production : l'inférence est lente car les modèles génèrent du texte un jeton à la fois, chacun nécessitant un passage complet à travers le réseau. Le décodage spéculatif est un remède populaire dans lequel un petit modèle « brouillon » rapide propose un bloc de jetons que le modèle grandeur nature vérifie ensuite en un seul passage, en acceptant le préfixe correct le plus long. Parce que la vérification est parallèle et mathématiquement exacte, elle accélère les choses tout en préservant la distribution du modèle d'origine. DSpark, publié parallèlement au référentiel de formation DeepSpec sur GitHub, est rapidement devenu l'un des articles d'ingénierie IA les plus discutés sur Hacker News. Pour plus de contexte sur cette histoire, consultez notre dernières avancées en IA.
Pourquoi le décodage spéculatif existant heurte un mur
Les récentes recherches sur le décodage spéculatif se sont orientées vers des « rédacteurs parallèles » qui génèrent un bloc entier de jetons candidats en une seule passe, rendant la latence de brouillon presque indépendante de la taille du bloc. Le document DSpark identifie deux goulots d'étranglement qui ont empêché ces méthodes de tenir leurs promesses à grande échelle.
Le premier est un problème de qualité. Étant donné que les rédacteurs parallèles prédisent chaque position indépendamment, ils ne peuvent pas modéliser la façon dont les jetons d'un bloc dépendent les uns des autres. Les chercheurs montrent que cela conduit à des « collisions multimodales » et à une dégradation rapide de l'acceptation aux positions ultérieures d'un bloc de projet, un phénomène qu'ils appellent la dégradation des suffixes. Plus le bloc parallèle est long, plus sa queue est susceptible d'être fausse.
Le second est un problème au niveau du système. Bien que la génération de blocs de projet longs soit peu coûteuse, la vérification aveugle de chaque jeton proposé gaspille une faible capacité de lot sur des jetons susceptibles d'être rejetés. Dans le contexte de concurrence élevée d'un système de service réel, la durée de vérification idéale varie selon deux axes : les requêtes structurées telles que le code supportent des taux d'acceptation plus élevés que le chat ouvert, et la vérification de jetons supplémentaires est presque gratuite sous une charge légère mais coûteuse lorsque le système est saturé.
Un modèle de brouillon semi-autorégressif
Pour corriger la dégradation des suffixes, DSpark adopte ce que les auteurs appellent une architecture semi-autorégressive. Il associe un squelette parallèle lourd en calcul, qui peut proposer plusieurs jetons à la fois, avec un module séquentiel léger qui introduit la modélisation des dépendances intra-bloc. La conception vise à combiner la grande capacité des modèles parallèles aux premières positions avec la cohérence des suffixes des rédacteurs autorégressifs traditionnels, qui génèrent des jetons les uns après les autres et respectent naturellement les dépendances.
Sur des tests hors ligne contrôlés couvrant le raisonnement mathématique, la génération de code et le chat quotidien, l'équipe rapporte que DSpark améliore considérablement la longueur acceptée par cycle de vérification par rapport à des références solides. Plus précisément, le document indique que DSpark améliore la longueur acceptée par rapport au rédacteur autorégressif Eagle3 de 30,9 %, 26,7 % et 30,0 % sur trois paramètres, et par rapport au rédacteur parallèle DFlash de 16,3 %, 18,4 % et 18,3 %.
Vérification planifiée en toute confiance et tenant compte du chargement
La moitié la plus nouvelle de DSpark est son approche de la vérification. Plutôt que de vérifier un nombre fixe de brouillons de jetons pour chaque requête, DSpark formule la sélection de la longueur de vérification comme un problème global de maximisation du débit. Il associe des estimations calibrées de la durée de survie probable du préfixe d'un projet, ce que le journal appelle les probabilités de survie, à un planificateur sensible au matériel qui lit la charge du moteur en temps réel.
Le résultat est une vérification planifiée en toute confiance : le système adapte dynamiquement le nombre de jetons qu'il vérifie pour chaque demande en fonction à la fois du contenu de la demande et de l'état actuel du moteur de serveur. Sous des charges légères, il peut se permettre de vérifier généreusement, tandis que sous une forte concurrence, il achemine le budget de vérification du modèle cible uniquement vers les jetons ayant le rendement attendu le plus élevé, évitant ainsi l'effondrement du débit qui résulte de la dépense de capacité par lots sur des jetons à faible probabilité.
Résultats sous le trafic d'utilisateurs en direct
Les chiffres les plus conséquents proviennent de la production. L'équipe a déployé DSpark dans le système de service DeepSeek-V4 au service du trafic utilisateur en direct et l'a comparé à la base de production précédente de l'entreprise, une méthode de prédiction multi-jetons connue sous le nom de MTP-1.
Selon le document, DSpark accélère systématiquement les vitesses de génération par utilisateur de 60 à 85 % pour DeepSeek-V4-Flash et de 57 à 78 % pour DeepSeek-V4-Pro à un débit global correspondant. Dans le cadre d'accords de niveau de service stricts où la capacité de base se détériore considérablement, l'équivalent de 120 jetons par seconde pour Flash et de 50 jetons par seconde pour Pro, DSpark atténue les frais de vérification pour maintenir un débit robuste. En surmontant cette falaise de performances, les auteurs affirment que cela débloque des niveaux d'interactivité stricts qui étaient auparavant inaccessibles, déplaçant ainsi la frontière de Pareto du service LLM vers l'extérieur.
Cette distinction est importante pour les opérateurs. Une vitesse par utilisateur plus rapide pour le même débit total signifie des assistants plus réactifs et des flux de travail agents sans acheter plus de matériel, tandis que survivre aux SLA de latence stricte sous charge est ce qui différencie une démo de recherche d'un système capable de résister aux pics de trafic.
Open-Source pour la communauté
DeepSeek publie les points de contrôle DSpark formés pour les modèles d'aperçu DeepSeek-V4-Flash et DeepSeek-V4-Pro. Le référentiel DeepSpec qui l'accompagne, publié sous la licence permissive MIT, est décrit comme une base de code complète de formation et d'évaluation basée sur des algorithmes pour le décodage spéculatif. Il comprend des utilitaires de préparation de données, des implémentations de modèles préliminaires, des scripts de formation et des harnais d'évaluation, et est livré avec trois algorithmes de modèles préliminaires : DSpark, DFlash et Eagle3.
Cette version réduit les obstacles pour les autres laboratoires et équipes d'infrastructure qui souhaitent former et comparer leurs propres projets de modèles par rapport à un pipeline standardisé. La suite d'évaluation de DeepSpec couvre des références établies, notamment GSM8K, MATH500, AIME 2025, HumanEval, MBPP, LiveCodeBench, MT-Bench, AlpacaEval et Arena-Hard-v2.
Pourquoi c'est important
Le coût d’inférence et la latence font désormais partie des contraintes déterminantes du secteur de l’IA, déterminant tout, depuis la manière agressive avec laquelle les entreprises déploient des agents d’IA jusqu’à la question de savoir si les petits fournisseurs peuvent rivaliser avec les hyperscalers sur le plan économique unitaire. La contribution de DSpark consiste moins en un nouvel algorithme qu'en une démonstration selon laquelle la co-conception minutieuse du modèle préliminaire et du planificateur de vérification, ainsi que le traitement de la longueur de la vérification en fonction de l'état réel du système, peuvent faire avancer les choses de manière significative dans les déploiements réels.
Pour DeepSeek, qui a bâti sa réputation sur des systèmes efficaces et ouverts, DSpark est un autre point de données dans un argument que le laboratoire avance depuis plus d'un an : que des performances de service de pointe peuvent être obtenues grâce à une ingénierie plus intelligente plutôt que uniquement par le biais d'un calcul brut. Le fait que les gains aient été mesurés en fonction du trafic réel, plutôt que dans le cadre d'un benchmark synthétique, rend le résultat plus facile à prendre au sérieux pour les autres opérateurs, alors que la communauté open source digère le document et commence à reproduire les chiffres.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
