DeepSeek má open-source DeepInfer, vysoce výkonný inferenční rámec, o kterém čínská laboratoř AI říká, že pohání její vlastní rozsáhlé produkční služby. Kód se objevil na GitHubu pod licencí Apache 2.0 a během několika dní nasbíral více než 5 500 hvězdiček poté, co diskuse Hacker News o vydání v pondělí přilákala stovky kladných hlasů.

Podle README projektu poskytuje vydání offline odvození základních funkcí, na které se DeepSeek spoléhá, ​​aby mohl sloužit svým modelům ve velkém měřítku. Výchozí konfigurace cílí na DeepSeek-V4.1-Flash a framework automaticky stáhne kontrolní bod DeepSeek-V4.1-Flash-1017 z Hugging Face při prvním spuštění. For more context on this story, see our ongoing AI industry coverage.

Co vlastně DeepInfer obsahuje

DeepInfer není přepsání od nuly. Spojuje specializovaná jádra, která DeepSeek vydává kus po kuse v posledních dvou letech – FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect a vlastní jádra TileLang – do jediného běhového prostředí s vestavěným modelem a vzorkováním.

Rámec také dodává několik technik poskytování, které jsou podrobně zdokumentovány v úložišti:

  • Ověření naplánováno na základě důvěry, spekulativní dekódovací přístup, který k naplánování ověření používá koncepty tokenů a odhady spolehlivosti, které lze ovládat pomocí proměnných prostředí
  • Omezené přehrávání dekodéru SWA, které snižuje práci s předvyplněním dekodéru tím, že přehrává pouze omezenou příponu sekvence
  • Asynchronní plánování, které překrývá dávkové plánování CPU se spouštěním zařízení, ve výchozím nastavení povoleno
  • Dažkově invariantní inference, která udržuje výsledky modelu identické v různých složeních dávek
  • Deterministické vzorkování, produkující identické výstupy pro identické vstupy a parametry vzorkování
  • Strukturované výstupy, omezující generování na regulární výraz, schéma JSON nebo gramatiku EBNF

Tato kombinace je zaměřena přímo na operátory, kteří potřebují reprodukovatelné, vysoce výkonné generování textu spíše než experimentální hračky. Invariance dávek a deterministické vzorkování jsou zvláště důležité pro podniky, které musí kontrolovat, proč model vytvořil daný výstup.

NVIDIA a Huawei Ascend vedle sebe

Nejostřeji sledovaným detailem je hardwarová podpora. DeepInfer se zaměřuje na GPU NVIDIA SM100 prostřednictvím CUDA 13 a Huawei Ascend 950 NPU prostřednictvím CANN 9.2, přičemž Linux, GCC 13 a Python 3.12 jsou uvedeny jako předpoklady pro obě cesty.

Tento postoj na dvou platformách je v souladu s nedávnou historií DeepSeek. Společnost strávila měsíce vývojem softwaru založeného na TileLang pro hardware Ascend a veřejně zpochybňovala předpoklady, že CUDA je nenahraditelná. Zaslání produkčního inferenčního rámce, který zachází s Ascendem jako s prvotřídním občanem – spíše než s dodatečným výzkumem – tuto strategii rozšiřuje a přistává v době, kdy americké exportní kontroly nadále omezují, které čipy Nvidia mohou čínské společnosti nakupovat.

Pro čínské cloudové operátory provozující domácí křemík odstraňuje udržovaný inferenční engine, který podporuje Ascend 950, jednu z praktických překážek pro poskytování hraničních otevřených modelů mimo ekosystém Nvidia.

Co ve vydání chybí

V souboru README je explicitně uvedeno, že toto ještě není úplný zásobník. Produkční nasazení postavené na DeepInfer stále potřebuje tři komponenty, které vydání nezahrnuje: systém mezipaměti KV, dezagregaci předvyplnění a dekódování a vyvažování zátěže napříč replikami paralelními s daty. Úložiště poznamenává, že většina požadovaných funkcí motoru pro desagregaci je již implementována, ale okolní systémy jsou ponechány na operátorovi.

V praxi to znamená, že DeepInfer je nejlépe chápán jako výpočetní motor infrastruktury DeepSeek spíše než jako klíčová alternativa ke komunitním rámcům. Týmy by jej stále musely integrovat s mezipamětí a vrstvami směrování, než jej umístí do reálného provozu.

Proč na tom záleží

Podnikání společnosti DeepSeek spočívá na poskytování modelů extrémně levně a ekonomika tohoto podnikání byla předmětem intenzivního zkoumání, když společnost směřovala k tomu, co popsala jako cenový posun od dřívějšího umístění s nízkými náklady. Otevření skutečné produkční cesty – nejen výzkumného kódu – dává externím vývojářům a poskytovatelům cloudu neobvykle přímý pohled na techniky stojící za těmito náklady.

Pokračuje také v záměrném vzoru. FlashMLA, DeepGEMM a DeepEP byly všechny vydány jednotlivě, když laboratoř stavěla svůj zásobník; DeepInfer efektivně dokumentuje, jak do sebe jednotlivé části zapadají. Pro výzkumníky tato verze usnadňuje reprodukování publikovaných tvrzení o výkonu DeepSeek. Pro konkurenty to zvyšuje laťku toho, co se počítá jako otevřený inferenční zásobník.

Licence Apache 2.0 umožňuje komerční použití bez povinností copyleftu, což znamená, že západní poskytovatelé cloudu by ji mohli legálně nasadit – ačkoli její modelová podpora je v současné době omezena na vlastní kontrolní bod DeepSeek V4.1-Flash, takže ji většina bude prozatím považovat za referenční implementaci.

Na co se dívat

Tři otázky určí, zda se DeepInfer stane široce přijatým, nebo zůstane kuriozitou. Za prvé, zda jej komunita portuje za V4.1-Flash na jiné modelové architektury. Za druhé, zda výsledky benchmarků publikované v tabulkách výkonu úložiště obstojí na hardwaru mimo vlastní clustery DeepSeek. Za třetí, zda chybějící části – správa mezipaměti KV, dezagregace a vyvažování zátěže – dorazí v budoucích verzích, čímž se z enginu stane kompletní rámec pro poskytování služeb.

Pro tuto chvíli je vydání pozoruhodným transparentním krokem od laboratoře, která se opakovaně rozhodla publikovat infrastrukturu pod svými modely. Vývojáři, kteří chtějí experimentovat, mohou vytvořit DeepInfer ze zdroje na kterékoli z podporovaných platforem a spustit offline odvození pomocí jediného příkladu skriptu.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →