DeepSeek udostępnia DeepInfer, wysokowydajną platformę wnioskowania o otwartym kodzie źródłowym, która według chińskiego laboratorium AI obsługuje własne usługi produkcyjne na dużą skalę. Kod pojawił się w serwisie GitHub na licencji Apache 2.0 i w ciągu kilku dni zebrał już ponad 5500 gwiazdek, po tym, jak w poniedziałek dyskusja na temat wydania w serwisie Hacker News zebrała setki głosów pozytywnych.

Zgodnie z plikiem README projektu, ta wersja umożliwia wnioskowanie w trybie offline z podstawowymi funkcjami, na których DeepSeek opiera się, obsługując swoje modele na dużą skalę. Domyślna konfiguracja jest przeznaczona dla DeepSeek-V4.1-Flash, a platforma automatycznie pobiera punkt kontrolny DeepSeek-V4.1-Flash-1017 z Hugging Face przy pierwszym uruchomieniu. Więcej kontekstu na ten temat znajdziesz w naszych wiadomości AI.

Co właściwie zawiera DeepInfer

DeepInfer nie jest przepisem od zera. Łączy wyspecjalizowane jądra, które DeepSeek wypuszczał kawałek po kawałku przez ostatnie dwa lata — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect i niestandardowe jądra TileLang — w jedno środowisko wykonawcze z wbudowanym wykonaniem modelu i próbnika.

Framework udostępnia także kilka technik obsługi, które są szczegółowo udokumentowane w repozytorium:

  • Weryfikacja zaplanowana na podstawie zaufania, podejście do dekodowania spekulatywnego, które wykorzystuje tokeny wersji roboczej i szacunki zaufania do planowania weryfikacji, kontrolowane za pomocą zmiennych środowiskowych
  • Odtwarzanie ograniczone SWA dekodera, które ogranicza pracę przed wypełnieniem dekodera poprzez odtwarzanie tylko ograniczonego sufiksu sekwencji
  • Planowanie asynchroniczne nakładające się na planowanie wsadowe procesora z wykonywaniem urządzenia, domyślnie włączone
  • Wnioskowanie niezmienne wsadowe, dzięki któremu wyniki modelu są identyczne w przypadku różnych składów wsadowych
  • Próbkowanie deterministyczne, dające identyczne wyniki dla identycznych wejść i parametrów próbkowania
  • Ustrukturyzowane dane wyjściowe, ograniczające generowanie do wyrażenia regularnego, schematu JSON lub gramatyki EBNF

To połączenie jest skierowane bezpośrednio do operatorów, którzy potrzebują odtwarzalnego i wydajnego generowania tekstu, a nie eksperymentalnych zabawek. Niezmienniczość wsadowa i próbkowanie deterministyczne są szczególnie istotne dla przedsiębiorstw, które muszą sprawdzić, dlaczego model dał dany wynik.

NVIDIA i Huawei Ascend, obok siebie

Najpilniej obserwowanym szczegółem jest obsługa sprzętu. DeepInfer celuje w procesory graficzne NVIDIA SM100 za pośrednictwem CUDA 13 i procesory NPU Huawei Ascend 950 za pośrednictwem CANN 9.2, przy czym Linux, GCC 13 i Python 3.12 są wymienione jako wymagania wstępne dla obu ścieżek.

To stanowisko dotyczące dwóch platform jest spójne z najnowszą historią DeepSeek. Firma spędziła miesiące na opracowywaniu oprogramowania opartego na TileLang dla sprzętu Ascend i publicznie kwestionowała założenia, że ​​CUDA jest niezastąpiona. Wysyłka platformy wnioskowania produkcyjnego, która traktuje Ascend jak obywatela pierwszej klasy – a nie refleksję po badaniach – rozszerza tę strategię i trafia w czas, gdy amerykańskie kontrole eksportu w dalszym ciągu ograniczają liczbę chipów Nvidia, które chińskie firmy mogą kupować.

W przypadku chińskich operatorów chmur korzystających z krajowego krzemu utrzymywany silnik wnioskowania obsługujący Ascend 950 usuwa jedną z praktycznych barier w udostępnianiu pionierskich otwartych modeli poza ekosystemem Nvidia.

Czego brakuje w wydaniu

W pliku README wyraźnie widać, że nie jest to jeszcze kompletny stos do serwowania. Wdrożenie produkcyjne oparte na DeepInfer nadal wymaga trzech komponentów, których ta wersja nie obejmuje: systemu pamięci podręcznej KV, wstępnego wypełniania i dezagregacji dekodowania oraz równoważenia obciążenia w replikach równoległych danych. W repozytorium zauważono, że większość funkcjonalności silnika wymaganych do dezagregacji została już wdrożona, ale otaczające systemy pozostawiono operatorowi.

W praktyce oznacza to, że DeepInfer najlepiej rozumieć jako silnik obliczeniowy infrastruktury DeepSeek, a nie jako gotową alternatywę dla platform służących społecznościom. Zespoły nadal musiałyby zintegrować go z warstwami buforowania i routingu, zanim udostępnią go rzeczywistemu ruchowi.

Dlaczego to ma znaczenie

Działalność DeepSeek opiera się na oferowaniu modeli wyjątkowo tanio, a ekonomia tej działalności jest przedmiotem intensywnej analizy, ponieważ firma zmierza w kierunku, jak to określiła, odchodzenia od wcześniejszego pozycjonowania opartego na niskich kosztach. Otwarcie rzeczywistej ścieżki wnioskowania produkcyjnego — a nie tylko kodu badawczego — umożliwia zewnętrznym programistom i dostawcom usług w chmurze niezwykle bezpośredni wgląd w techniki stojące za tymi kosztami.

Kontynuuje także przemyślany wzór. FlashMLA, DeepGEMM i DeepEP zostały wydane osobno w miarę budowania stosu przez laboratorium; DeepInfer skutecznie dokumentuje dopasowanie elementów do siebie. Badaczom ta wersja ułatwia odtworzenie opublikowanych deklaracji DeepSeek dotyczących wydajności. Dla konkurentów podnosi poprzeczkę w zakresie tego, co liczy się jako otwarty stos wnioskowania.

Licencja Apache 2.0 pozwala na komercyjne wykorzystanie bez zobowiązań typu copyleft, co oznacza, że ​​zachodni dostawcy usług w chmurze mogą ją legalnie wdrożyć — chociaż obsługa modeli jest obecnie ograniczona do własnego punktu kontrolnego V4.1-Flash firmy DeepSeek, więc większość będzie na razie traktować ją jako implementację referencyjną.

Co obejrzeć

Trzy pytania zadecydują o tym, czy DeepInfer zostanie powszechnie przyjęty, czy pozostanie ciekawostką. Po pierwsze, czy społeczność przeniesie go poza V4.1-Flash na inne architektury modelowe. Po drugie, czy wyniki testów porównawczych opublikowane w tabelach wydajności repozytorium sprawdzają się na sprzęcie poza klastrami DeepSeek. Po trzecie, czy brakujące elementy — zarządzanie pamięcią podręczną KV, dezagregacja i równoważenie obciążenia — pojawią się w przyszłych wersjach, zamieniając silnik w kompletną platformę obsługującą.

Na razie wydanie to stanowi znaczący krok w kierunku zapewnienia przejrzystości ze strony laboratorium, które wielokrotnie decydowało się na publikację infrastruktury znajdującej się pod jego modelami. Programiści, którzy chcą eksperymentować, mogą zbudować DeepInfer ze źródła na dowolnej obsługiwanej platformie i uruchamiać wnioskowanie w trybie offline za pomocą jednego przykładowego skryptu.

---

Bądź na Bieżąco z AI

Najnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.

Czytaj więcej wiadomości AI →