DeepSeek are DeepInfer în sursă deschisă, cadrul de inferență de înaltă performanță despre care laboratorul chinez de inteligență artificială spune că își alimentează propriile servicii de producție la scară largă. Codul a apărut pe GitHub sub licența Apache 2.0 și adunase deja peste 5.500 de stele în câteva zile, după ce o discuție Hacker News despre lansare a atras luni sute de voturi pozitive.

Conform README al proiectului, versiunea oferă inferențe offline cu caracteristicile de bază pe care se bazează DeepSeek pentru a-și servi modelele la scară. Configurația implicită vizează DeepSeek-V4.1-Flash, iar cadrul descarcă automat punctul de control DeepSeek-V4.1-Flash-1017 de la Hugging Face la prima rulare. For more context on this story, see our ongoing AI trends.

Ce include de fapt DeepInfer

DeepInfer nu este o rescrie de la zero. Acesta leagă împreună nucleele specializate pe care DeepSeek le-a lansat piesă cu piesă în ultimii doi ani - FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect și kernel-uri personalizate TileLang - într-un singur timp de execuție cu model și execuție sampler încorporate.

Cadrul include, de asemenea, mai multe tehnici de servire care sunt documentate în detaliu în depozit:

  • Verificare programată în funcție de încredere, o abordare de decodare speculativă care utilizează jetoane și estimări de încredere pentru a programa verificarea, controlabilă prin variabile de mediu
  • Reluare delimitată de decodor SWA, care reduce munca de pre-umplere a decodorului prin reluarea doar a unui sufix mărginit al secvenței
  • Programare asincronă care suprapune programarea loturilor CPU cu execuția dispozitivului, activată implicit
  • Inferența invariantă a loturilor, care păstrează rezultatele modelului identice în diferite compoziții de lot
  • Eșantionare deterministă, producând ieșiri identice pentru intrări și parametri de eșantionare identici
  • Ieșiri structurate, constrângerea generării la o regex, o schemă JSON sau o gramatică EBNF

Această combinație se adresează în mod direct operatorilor care au nevoie de generare de text reproductibilă, de mare capacitate, mai degrabă decât de jucării experimentale. Invarianța loturilor și eșantionarea deterministă contează în special pentru întreprinderile care trebuie să auditeze de ce un model a produs o anumită ieșire.

NVIDIA și Huawei Ascend, una lângă alta

Detaliul cel mai atent urmărit este suportul hardware. DeepInfer vizează GPU-urile NVIDIA SM100 prin CUDA 13 și Huawei Ascend 950 NPU-uri prin CANN 9.2, cu Linux, GCC 13 și Python 3.12 listate ca cerințe preliminare pentru ambele căi.

Această poziție cu platformă duală este în concordanță cu istoria recentă a DeepSeek. Compania a petrecut luni de zile dezvoltând software-ul bazat pe TileLang pentru hardware-ul Ascend și contestând public presupunerile că CUDA este de neînlocuit. Livrarea unui cadru de inferență de producție care tratează Ascend ca un cetățean de primă clasă – mai degrabă decât o cercetare ulterioară – extinde această strategie și ajunge într-un moment în care controalele exporturilor din SUA continuă să restricționeze cipurile Nvidia pe care companiile chineze le pot cumpăra.

Pentru operatorii de cloud chinezi care rulează siliciu intern, un motor de inferență menținut care acceptă Ascend 950 înlătură una dintre barierele practice în calea servirii modelelor deschise de clasă de frontieră în afara ecosistemului Nvidia.

Ce lipsește din lansare

README este explicit că acesta nu este încă o stivă de servire completă. O implementare de producție construită pe DeepInfer încă mai are nevoie de trei componente pe care ediția nu le include: un sistem de cache KV, dezagregare de precompletare și decodare și echilibrare a încărcăturii între replicile paralele de date. Depozitul notează că cea mai mare parte a funcționalității necesare a motorului pentru dezagregare este deja implementată, dar sistemele din jur sunt lăsate la latitudinea operatorului.

În practică, asta înseamnă că DeepInfer este cel mai bine înțeles ca motorul de calcul al infrastructurii DeepSeek, mai degrabă decât o alternativă la cheie la cadrele de servire a comunității. Echipele ar mai trebui să-l integreze cu straturile de cache și rutare înainte de a-l pune în fața traficului real.

De ce contează

Afacerea DeepSeek se bazează pe deservirea modelelor extrem de ieftin, iar economia acelei afaceri a fost subiectul unei examinări intense, în timp ce compania se îndreaptă către ceea ce a descris ca prețurile se îndepărtează de poziționarea sa anterioară cu costuri reduse. Deschiderea căii de inferență de producție reală - nu doar codul de cercetare - oferă dezvoltatorilor externi și furnizorilor de cloud o privire neobișnuit de directă asupra tehnicilor din spatele acestor costuri.

De asemenea, continuă un model deliberat. FlashMLA, DeepGEMM și DeepEP au fost toate lansate individual, pe măsură ce laboratorul și-a construit stiva; DeepInfer documentează în mod eficient modul în care piesele se potrivesc. Pentru cercetători, eliberarea facilitează reproducerea afirmațiilor de performanță publicate de DeepSeek. Pentru concurenți, ridică ștacheta pentru ceea ce contează ca o stivă de inferență deschisă.

Licența Apache 2.0 permite utilizarea comercială fără obligații de copyleft, ceea ce înseamnă că furnizorii occidentali de cloud o pot implementa în mod legal - deși suportul său pentru modelul său este în prezent limitat la propriul punct de control V4.1-Flash al DeepSeek, așa că majoritatea îl vor trata ca o implementare de referință pentru moment.

Ce să urmărești

Trei întrebări vor determina dacă DeepInfer devine adoptat pe scară largă sau rămâne o curiozitate. În primul rând, dacă comunitatea îl portează dincolo de V4.1-Flash la alte arhitecturi model. În al doilea rând, dacă rezultatele benchmark-urilor publicate în tabelele de performanță ale depozitului rezistă pe hardware din afara propriilor clustere DeepSeek. În al treilea rând, dacă piesele lipsă - managementul memoriei cache KV, dezagregarea și echilibrarea încărcăturii - ajung în versiunile viitoare, transformând motorul într-un cadru complet de servire.

Deocamdată, lansarea este o mișcare notabilă de transparență a unui laborator care a ales în mod repetat să publice infrastructura de sub modelele sale. Dezvoltatorii care doresc să experimenteze pot construi DeepInfer din sursă pe oricare platformă acceptată și pot rula inferențe offline cu un singur exemplu de script.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →