DeepSeek verfügt über Open-Source-DeepInfer, das leistungsstarke Inferenz-Framework, das nach Angaben des chinesischen KI-Labors seine eigenen groß angelegten Produktionsdienste antreibt. Der Code erschien auf GitHub unter der Apache 2.0-Lizenz und hatte innerhalb weniger Tage bereits mehr als 5.500 Sterne gesammelt, nachdem eine Hacker News-Diskussion über die Veröffentlichung am Montag Hunderte von positiven Stimmen hervorgerufen hatte.

Laut der README-Datei des Projekts bietet die Version Offline-Inferenz mit den Kernfunktionen, auf die sich DeepSeek verlässt, um seine Modelle in großem Maßstab bereitzustellen. Die Standardkonfiguration zielt auf DeepSeek-V4.1-Flash ab und das Framework lädt beim ersten Start automatisch den Prüfpunkt DeepSeek-V4.1-Flash-1017 von Hugging Face herunter. Weitere Informationen zu dieser Geschichte finden Sie in unserer neueste KI-Entwicklungen.

Was DeepInfer tatsächlich beinhaltet

DeepInfer ist keine Neufassung von Grund auf. Es verbindet die spezialisierten Kernel, die DeepSeek in den letzten zwei Jahren Stück für Stück veröffentlicht hat – FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect und benutzerdefinierte TileLang-Kernel – in einer einzigen Laufzeit mit integrierter Modell- und Sampler-Ausführung.

Das Framework bietet außerdem mehrere Bereitstellungstechniken, die im Repository ausführlich dokumentiert sind:

  • Konfidenzgeplante Überprüfung, ein spekulativer Dekodierungsansatz, der Entwurfstoken und Konfidenzschätzungen verwendet, um die Überprüfung zu planen, steuerbar durch Umgebungsvariablen
  • Decoder SWA-begrenzte Wiedergabe, die den Vorfüllaufwand für den Decoder reduziert, indem nur ein begrenztes Suffix der Sequenz wiedergegeben wird
  • Asynchrone Planung, die die CPU-Batch-Planung mit der Geräteausführung überlappt, standardmäßig aktiviert
  • Chargeninvariante Inferenz, die die Modellergebnisse über verschiedene Chargenzusammensetzungen hinweg identisch hält
  • Deterministische Abtastung, die identische Ausgaben für identische Eingaben und Abtastparameter erzeugt
  • Strukturierte Ausgaben, die die Generierung auf einen regulären Ausdruck, ein JSON-Schema oder eine EBNF-Grammatik beschränken

Diese Kombination richtet sich direkt an Betreiber, die eine reproduzierbare Textgenerierung mit hohem Durchsatz und nicht an experimentellen Spielzeugen benötigen. Chargeninvarianz und deterministische Stichprobenziehung sind insbesondere für Unternehmen von Bedeutung, die überprüfen müssen, warum ein Modell eine bestimmte Ausgabe erzeugt hat.

NVIDIA und Huawei Ascend, Seite an Seite

Das am meisten beobachtete Detail ist die Hardwareunterstützung. DeepInfer zielt auf NVIDIA SM100-GPUs bis CUDA 13 und Huawei Ascend 950 NPUs bis CANN 9.2 ab, wobei Linux, GCC 13 und Python 3.12 als Voraussetzungen für beide Pfade aufgeführt sind.

Diese Dual-Plattform-Haltung steht im Einklang mit der jüngsten Geschichte von DeepSeek. Das Unternehmen hat Monate damit verbracht, TileLang-basierte Software für Ascend-Hardware zu entwickeln und öffentlich die Annahmen in Frage zu stellen, dass CUDA unersetzlich sei. Die Einführung eines Produktionsinferenzrahmens, der Ascend als erstklassigen Bürger und nicht als nachträglichen Forschungsgegenstand behandelt, erweitert diese Strategie und kommt zu einer Zeit, in der US-Exportkontrollen weiterhin einschränken, welche Nvidia-Chips chinesische Unternehmen kaufen dürfen.

Für chinesische Cloud-Betreiber, die inländische Silizium betreiben, beseitigt eine gewartete Inferenz-Engine, die Ascend 950 unterstützt, eines der praktischen Hindernisse für die Bereitstellung offener Modelle der Spitzenklasse außerhalb des Nvidia-Ökosystems.

Was in der Veröffentlichung fehlt

In der README-Datei wird ausdrücklich darauf hingewiesen, dass dies noch kein vollständiger Servierstapel ist. Eine auf DeepInfer basierende Produktionsbereitstellung benötigt noch drei Komponenten, die in der Version nicht enthalten sind: ein KV-Cache-System, Vorbefüllungs- und Dekodierungsdisaggregation sowie Lastausgleich über datenparallele Replikate. Das Repository stellt fest, dass die meisten der erforderlichen Engine-Funktionalitäten für die Disaggregation bereits implementiert sind, die umgebenden Systeme jedoch dem Betreiber überlassen bleiben.

In der Praxis bedeutet das, dass man DeepInfer am besten als Rechenmaschine der DeepSeek-Infrastruktur versteht und nicht als schlüsselfertige Alternative zu Community-Service-Frameworks. Die Teams müssten es noch mit Caching- und Routing-Ebenen integrieren, bevor sie es dem echten Datenverkehr vorlegen.

Warum es wichtig ist

Das Geschäft von DeepSeek basiert darauf, Modelle zu extrem günstigen Preisen anzubieten, und die Wirtschaftlichkeit dieses Geschäfts wurde intensiv geprüft, da sich das Unternehmen auf eine, wie es sagt, Preisverschiebung von seiner früheren Niedrigpreispositionierung zubewegt. Durch die Öffnung des eigentlichen Produktionsinferenzpfads – nicht nur des Forschungscodes – erhalten externe Entwickler und Cloud-Anbieter einen ungewöhnlich direkten Einblick in die Techniken, die diesen Kosten zugrunde liegen.

Es setzt auch ein bewusstes Muster fort. FlashMLA, DeepGEMM und DeepEP wurden alle einzeln veröffentlicht, während das Labor seinen Stack aufbaute; DeepInfer dokumentiert effektiv, wie die Teile zusammenpassen. Für Forscher erleichtert die Veröffentlichung die Reproduktion der veröffentlichten Leistungsansprüche von DeepSeek. Für Wettbewerber legt es die Messlatte für das, was als offener Inferenzstapel gilt, höher.

Die Apache 2.0-Lizenz erlaubt die kommerzielle Nutzung ohne Copyleft-Verpflichtungen, was bedeutet, dass westliche Cloud-Anbieter sie legal einsetzen könnten – obwohl die Modellunterstützung derzeit auf DeepSeeks eigenen V4.1-Flash-Checkpoint beschränkt ist, werden die meisten sie vorerst als Referenzimplementierung betrachten.

Was Sie sehen sollten

Drei Fragen werden darüber entscheiden, ob DeepInfer weit verbreitet ist oder eine Kuriosität bleibt. Erstens, ob die Community es über V4.1-Flash hinaus auf andere Modellarchitekturen portiert. Zweitens, ob die in den Leistungstabellen des Repositorys veröffentlichten Benchmark-Ergebnisse auf Hardware außerhalb der DeepSeek-eigenen Cluster bestehen bleiben. Drittens, ob die fehlenden Teile – KV-Cache-Verwaltung, Disaggregation und Lastausgleich – in zukünftigen Versionen eintreffen und die Engine in ein vollständiges Serving-Framework verwandeln.

Vorerst ist die Veröffentlichung ein bemerkenswerter Transparenzschritt eines Labors, das sich wiederholt dafür entschieden hat, die Infrastruktur unter seinen Modellen zu veröffentlichen. Entwickler, die experimentieren möchten, können DeepInfer aus dem Quellcode auf beiden unterstützten Plattformen erstellen und Offline-Inferenz mit einem einzigen Beispielskript ausführen.

---

Bleib vorne bei KI

Die neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.

Mehr KI-Nachrichten lesen →