DeepSeek beschikt over open source DeepInfer, het krachtige inferentieraamwerk waarvan het Chinese AI-lab zegt dat het zijn eigen grootschalige productiediensten aanstuurt. De code verscheen op GitHub onder de Apache 2.0-licentie en had binnen enkele dagen al meer dan 5.500 sterren verzameld, nadat een Hacker News-discussie over de release maandag honderden stemmen opleverde.

Volgens de README van het project biedt de release offline gevolgtrekking met de kernfuncties waarop DeepSeek vertrouwt om zijn modellen op schaal te bedienen. De standaardconfiguratie is gericht op DeepSeek-V4.1-Flash, en het raamwerk downloadt bij de eerste keer opstarten automatisch het DeepSeek-V4.1-Flash-1017-controlepunt van Hugging Face. Voor meer context over dit verhaal, zie ons meer AI-verhalen.

Wat DeepInfer eigenlijk inhoudt

DeepInfer is geen herschrijving vanaf nul. Het verbindt de gespecialiseerde kernels die DeepSeek de afgelopen twee jaar stukje bij beetje heeft uitgebracht – FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect en aangepaste TileLang-kernels – in één runtime met ingebouwde model- en sampler-uitvoering.

Het raamwerk levert ook verschillende serveertechnieken die gedetailleerd zijn gedocumenteerd in de repository:

  • Op vertrouwen geplande verificatie, een speculatieve decoderingsaanpak die concepttokens en betrouwbaarheidsschattingen gebruikt om de verificatie te plannen, bestuurbaar via omgevingsvariabelen
  • Decoder SWA begrensde herhaling, waardoor het voorvulwerk van de decoder wordt verminderd door alleen een begrensd achtervoegsel van de reeks af te spelen
  • Asynchrone planning die CPU-batchplanning overlapt met apparaatuitvoering, standaard ingeschakeld
  • Batch-invariante inferentie, waardoor de modelresultaten identiek blijven voor verschillende batchsamenstellingen
  • Deterministische sampling, waarbij identieke outputs worden geproduceerd voor identieke inputs en samplingparameters
  • Gestructureerde uitvoer, waardoor het genereren wordt beperkt tot een regex, JSON-schema of EBNF-grammatica

Die combinatie is volledig gericht op operators die reproduceerbare tekstgeneratie met hoge doorvoer nodig hebben in plaats van experimenteel speelgoed. Batch-invariantie en deterministische steekproeven zijn met name van belang voor ondernemingen die moeten controleren waarom een ​​model een bepaalde output opleverde.

NVIDIA en Huawei Ascend, zij aan zij

Het meest nauwlettend in de gaten gehouden detail is hardwareondersteuning. DeepInfer richt zich op NVIDIA SM100 GPU's via CUDA 13 en Huawei Ascend 950 NPU's via CANN 9.2, waarbij Linux, GCC 13 en Python 3.12 worden vermeld als vereisten voor beide paden.

Dat dual-platform standpunt komt overeen met de recente geschiedenis van DeepSeek. Het bedrijf heeft maanden besteed aan het ontwikkelen van op TileLang gebaseerde software voor Ascend-hardware en heeft publiekelijk de aannames betwist dat CUDA onvervangbaar is. Het lanceren van een raamwerk voor productie-inferentie dat Ascend behandelt als een eersteklas burger – in plaats van als een bijzaak van onderzoek – breidt die strategie uit, en komt terecht in een tijd waarin Amerikaanse exportcontroles blijven beperken welke Nvidia-chips Chinese bedrijven kunnen kopen.

Voor Chinese cloudoperatoren die binnenlandse silicium gebruiken, neemt een onderhouden inferentie-engine die Ascend 950 ondersteunt een van de praktische barrières weg voor het bedienen van open modellen van grensklasse buiten het Nvidia-ecosysteem.

Wat ontbreekt in de release

De README maakt duidelijk dat dit nog geen volledige serveerstapel is. Een productie-implementatie gebouwd op DeepInfer heeft nog steeds drie componenten nodig die de release niet bevat: een KV-cachesysteem, prefill- en decodeer-disaggregatie, en taakverdeling tussen data-parallelle replica's. De repository merkt op dat het grootste deel van de vereiste motorfunctionaliteit voor disaggregatie al is geïmplementeerd, maar dat de omliggende systemen aan de operator worden overgelaten.

In de praktijk betekent dit dat DeepInfer het best kan worden begrepen als de rekenmotor van de infrastructuur van DeepSeek, en niet als een kant-en-klaar alternatief voor raamwerken die de gemeenschap dienen. Teams zouden het nog steeds moeten integreren met caching- en routeringslagen voordat het aan echt verkeer wordt getoond.

Waarom het ertoe doet

De activiteiten van DeepSeek zijn gebaseerd op het extreem goedkoop bedienen van modellen, en de economische aspecten van dat bedrijf zijn onderwerp van intensief onderzoek geweest nu het bedrijf op weg is naar wat het heeft beschreven als een prijsstelling die afwijkt van zijn eerdere lage kostenpositionering. Door het daadwerkelijke productie-inferentiepad te openen – en niet alleen onderzoekscode – krijgen externe ontwikkelaars en cloudproviders een ongebruikelijk direct inzicht in de technieken achter deze kosten.

Het zet ook een opzettelijk patroon voort. FlashMLA, DeepGEMM en DeepEP werden allemaal afzonderlijk uitgebracht toen het laboratorium zijn stack bouwde; DeepInfer documenteert effectief hoe de stukjes in elkaar passen. Voor onderzoekers maakt de release het gemakkelijker om de gepubliceerde prestatieclaims van DeepSeek te reproduceren. Voor concurrenten legt het de lat hoger voor wat telt als een open inferentiestapel.

De Apache 2.0-licentie staat commercieel gebruik toe zonder copyleft-verplichtingen, wat betekent dat westerse cloudproviders het legaal kunnen inzetten - hoewel de modelondersteuning momenteel beperkt is tot DeepSeeks eigen V4.1-Flash-controlepunt, dus de meesten zullen het voorlopig als een referentie-implementatie beschouwen.

Wat te kijken

Drie vragen zullen bepalen of DeepInfer algemeen aanvaard wordt of een curiosum blijft. Ten eerste of de gemeenschap het naast V4.1-Flash porteert naar andere modelarchitecturen. Ten tweede, of de benchmarkresultaten die in de prestatietabellen van de repository zijn gepubliceerd, stand houden op hardware buiten de eigen clusters van DeepSeek. Ten derde: of de ontbrekende stukken – KV-cachebeheer, disaggregatie en taakverdeling – in toekomstige releases terechtkomen, waardoor de engine in een compleet raamwerk verandert.

Voorlopig is de release een opmerkelijke stap in de transparantie van een laboratorium dat er herhaaldelijk voor heeft gekozen de infrastructuur onder zijn modellen te publiceren. Ontwikkelaars die willen experimenteren, kunnen DeepInfer vanaf de broncode op elk ondersteund platform bouwen en offline gevolgtrekkingen uitvoeren met één voorbeeldscript.

---

Blijf Voorop met AI

Het laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.

Lees meer AI-nieuws →