DeepSeek har öppen källkod DeepInfer, det högpresterande inferensramverket som det kinesiska AI-labbet säger driver sina egna storskaliga produktionstjänster. Koden dök upp på GitHub under Apache 2.0-licensen och hade redan samlat in mer än 5 500 stjärnor inom några dagar, efter att en Hacker News-diskussion om releasen drog hundratals uppröster på måndagen.

Enligt projektets README ger utgåvan offline slutsatser med kärnfunktionerna DeepSeek förlitar sig på för att tjäna sina modeller i stor skala. Standardkonfigurationen riktar sig till DeepSeek-V4.1-Flash, och ramverket laddar automatiskt ned DeepSeek-V4.1-Flash-1017-kontrollpunkten från Hugging Face vid första körningen. For more context on this story, see our ongoing more AI stories.

Vad DeepInfer faktiskt innehåller

DeepInfer är inte en omskrivning från början. Den binder samman de specialiserade kärnorna DeepSeek har släppt bit för bit under de senaste två åren – FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect och anpassade TileLang-kärnor – till en enda körning med modell- och samplerkörning inbyggd.

Ramverket levererar också flera serveringstekniker som är dokumenterade i detalj i förvaret:

  • Konfidensschemalagd verifiering, en spekulativ avkodningsmetod som använder utkasttokens och konfidensuppskattningar för att schemalägga verifiering, kontrollerbar genom miljövariabler
  • Decoder SWA bounded replay, vilket minskar avkodarens förfyllningsarbete genom att endast spela upp ett begränsat suffix av sekvensen
  • Asynkron schemaläggning som överlappar CPU-batchschemaläggning med enhetskörning, aktiverad som standard
  • Batch-invariant slutledning, som håller modellresultat identiska över olika satssammansättningar
  • Deterministisk sampling, producerar identiska utgångar för identiska ingångar och samplingsparametrar
  • Strukturerade utdata, som begränsar generering till ett regex, JSON-schema eller EBNF-grammatik

Den kombinationen riktar sig helt och hållet till operatörer som behöver reproducerbar textgenerering med hög genomströmning snarare än experimentella leksaker. Satsinvarians och deterministisk urval är särskilt viktiga för företag som måste granska varför en modell producerade en given output.

NVIDIA och Huawei Ascend, sida vid sida

Den mest övervakade detaljen är hårdvarustöd. DeepInfer riktar sig till NVIDIA SM100 GPU:er genom CUDA 13 och Huawei Ascend 950 NPU:er genom CANN 9.2, med Linux, GCC 13 och Python 3.12 listade som förutsättningar för båda vägarna.

Denna ståndpunkt med dubbla plattformar är förenlig med DeepSeeks senaste historia. Företaget har ägnat månader åt att utveckla TileLang-baserad mjukvara för Ascend-hårdvara och offentligt utmana antaganden om att CUDA är oersättlig. Att skicka ett ramverk för produktionsslutledning som behandlar Ascend som en förstklassig medborgare – snarare än en eftertanke om forskning – förlänger den strategin, och den landar vid en tidpunkt då amerikanska exportkontroller fortsätter att begränsa vilka Nvidia-chips som kinesiska företag kan köpa.

För kinesiska molnoperatörer som kör inhemskt kisel tar en bibehållen slutledningsmotor som stöder Ascend 950 bort ett av de praktiska hindren för att betjäna öppna gränsmodeller utanför Nvidia-ekosystemet.

Vad saknas i releasen

README är tydligt att detta ännu inte är en komplett serveringsstack. En produktionsinstallation byggd på DeepInfer behöver fortfarande tre komponenter som releasen inte inkluderar: ett KV-cachesystem, förfyllning och avkodningsuppdelning och lastbalansering över dataparallella repliker. Förvaret noterar att det mesta av den nödvändiga motorfunktionaliteten för disaggregering redan är implementerad, men de omgivande systemen överlåts till operatören.

I praktiken betyder det att DeepInfer bäst förstås som beräkningsmotorn för DeepSeeks infrastruktur snarare än ett nyckelfärdigt alternativ till ramverk för communityservering. Lag skulle fortfarande behöva integrera den med caching och routinglager innan de ställer den framför verklig trafik.

Varför det är viktigt

DeepSeeks verksamhet vilar på att betjäna modeller extremt billigt, och ekonomin i den verksamheten har varit föremål för intensiv granskning när företaget går mot vad det har beskrivit som prissättning går bort från sin tidigare lågkostnadspositionering. Att öppna den faktiska produktionsinferensvägen – inte bara forskningskod – ger externa utvecklare och molnleverantörer en ovanligt direkt titt på teknikerna bakom dessa kostnader.

Det fortsätter också ett medvetet mönster. FlashMLA, DeepGEMM och DeepEP släpptes alla individuellt när labbet byggde sin stack; DeepInfer dokumenterar effektivt hur delarna passar ihop. För forskare gör releasen det lättare att reproducera DeepSeeks publicerade prestationspåståenden. För konkurrenter höjer det ribban för vad som räknas som en öppen slutledningsstack.

Apache 2.0-licensen tillåter kommersiell användning utan copyleft-förpliktelser, vilket innebär att västerländska molnleverantörer lagligen kan distribuera den – även om dess modellstöd för närvarande är begränsat till DeepSeeks egen V4.1-Flash-kontrollpunkt, så de flesta kommer att behandla det som en referensimplementering för tillfället.

Vad du ska titta på

Tre frågor kommer att avgöra om DeepInfer blir allmänt antagen eller förblir en kuriosa. För det första, om communityn portar det bortom V4.1-Flash till andra modellarkitekturer. För det andra, huruvida benchmarkresultat publicerade i förvarets prestandatabeller håller på hårdvara utanför DeepSeeks egna kluster. För det tredje, om de saknade delarna – KV-cachehantering, disaggregering och lastbalansering – kommer i framtida utgåvor, vilket gör motorn till ett komplett serveringsramverk.

För närvarande är releasen ett anmärkningsvärt transparensdrag från ett labb som upprepade gånger har valt att publicera infrastrukturen under sina modeller. Utvecklare som vill experimentera kan bygga DeepInfer från källan på endera stödd plattform och köra offline-inferens med ett enda exempelskript.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →