DeepSeek nduwe sumber terbuka DeepInfer, kerangka inferensi kinerja dhuwur sing dikandhakake lab AI China nguwasani layanan produksi skala gedhe dhewe. Kode kasebut muncul ing GitHub miturut lisensi Apache 2.0 lan wis nglumpukake luwih saka 5,500 bintang sajrone sawetara dina, sawise diskusi Hacker News babagan rilis kasebut narik atusan upvotes ing dina Senin.

Miturut README proyek kasebut, rilis kasebut menehi inferensi offline kanthi fitur-fitur inti sing diandelake DeepSeek kanggo nyedhiyakake model kanthi skala. Konfigurasi gawan target DeepSeek-V4.1-Flash, lan framework kanthi otomatis ndownload DeepSeek-V4.1-Flash-1017 checkpoint saka Hugging Face nalika pisanan. For more context on this story, see our ongoing AI trends.

Apa DeepInfer bener kalebu

DeepInfer dudu nulis ulang saka awal. Iki nggabungake kernel khusus DeepSeek sing wis diluncurake sajrone rong taun kepungkur - FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, lan kernel TileLang khusus - dadi siji runtime kanthi model lan eksekusi sampler.

Kerangka kasebut uga ngirim sawetara teknik porsi sing didokumentasikake kanthi rinci ing repositori:

  • Verifikasi terjadwal kapercayan, pendekatan dekoding spekulatif sing nggunakake token konsep lan prakiraan kapercayan kanggo jadwal verifikasi, bisa dikontrol liwat variabel lingkungan
  • Decoder SWA bounded replay, sing nyuda karya prefill decoder kanthi muter maneh mung sufiks winates saka urutan kasebut
  • Penjadwalan asinkron sing tumpang tindih penjadwalan kumpulan CPU karo eksekusi piranti, diaktifake kanthi gawan
  • Inferensi batch-invarian , sing ndadekake asil model padha ing komposisi kumpulan sing beda
  • Sampling deterministik, ngasilake output sing padha kanggo input sing padha lan paramèter sampling
  • Output terstruktur, mbatesi generasi menyang regex, skema JSON, utawa tata basa EBNF

Kombinasi kasebut ditujokake kanggo operator sing mbutuhake produksi teks sing bisa direproduksi, tinimbang dolanan eksperimen. Invariance batch lan sampling deterministik ing prakara tartamtu kanggo perusahaan sing kudu mriksa kenapa model ngasilake output sing diwenehake.

NVIDIA lan Huawei Ascend, bebarengan

Rincian sing paling diamati yaiku dhukungan hardware. DeepInfer target GPU NVIDIA SM100 liwat CUDA 13 lan Huawei Ascend 950 NPU liwat CANN 9.2, karo Linux, GCC 13, lan Python 3.12 kadhaptar minangka prasyarat kanggo loro dalan.

Sikap dual-platform kasebut konsisten karo sejarah anyar DeepSeek. Perusahaan wis pirang-pirang wulan ngembangake piranti lunak berbasis TileLang kanggo hardware Ascend lan asumsi sing nantang umum yen CUDA ora bisa diganti. Shipping framework inferensi produksi sing nambani Ascend minangka warga kelas kapisan - tinimbang riset afterthought - ngluwihi strategi sing, lan ndharat ing wektu nalika kontrol ekspor US terus kanggo matesi Nvidia Kripik perusahaan Cina bisa tuku.

Kanggo operator maya Cina sing nganggo silikon domestik, mesin inferensi sing dijaga sing ndhukung Ascend 950 mbusak salah sawijining alangan praktis kanggo ngladeni model terbuka kelas perbatasan ing njaba ekosistem Nvidia.

Apa sing ilang saka release

README jelas yen iki durung dadi tumpukan porsi lengkap. Penyebaran produksi sing dibangun ing DeepInfer isih mbutuhake telung komponen sing ora kalebu rilis: sistem cache KV, disaggregation prefill lan decode, lan imbangan muatan ing replika paralel data. Repositori nyathet yen sebagian besar fungsi mesin sing dibutuhake kanggo disaggregasi wis ditindakake, nanging sistem sekitar ditinggalake menyang operator.

Ing praktik kasebut tegese DeepInfer paling dipahami minangka mesin komputasi infrastruktur DeepSeek tinimbang alternatif turnkey kanggo kerangka layanan komunitas. Tim isih kudu nggabungake karo lapisan cache lan nuntun sadurunge dilebokake ing ngarep lalu lintas nyata.

Apa iku penting

Bisnis DeepSeek gumantung marang model sing murah banget, lan ekonomi bisnis kasebut dadi subyek sing ditliti kanthi serius amarga perusahaan kasebut tumuju apa sing diterangake minangka regane adoh saka posisi sing murah. Mbukak jalur inferensi produksi sing nyata - ora mung kode riset - menehi pangembang njaba lan panyedhiya awan kanthi langsung ndeleng teknik ing mburi biaya kasebut.

Uga terus pola sing disengaja. FlashMLA, DeepGEMM, lan DeepEP kabeh dirilis kanthi individu nalika laboratorium mbangun tumpukan; DeepInfer kanthi efektif nyathet kepiye potongan kasebut pas. Kanggo peneliti, rilis kasebut nggawe luwih gampang ngasilake klaim kinerja sing diterbitake DeepSeek. Kanggo saingan, iku mundhakaken bar kanggo apa counts minangka tumpukan inferensi mbukak.

Lisensi Apache 2.0 ngidini panggunaan komersial tanpa kewajiban copyleft, tegese panyedhiya maya Barat bisa nyebarake kanthi sah - sanajan dhukungan model saiki diwatesi ing titik mriksa V4.1-Flash DeepSeek dhewe, mula umume bakal nganggep minangka implementasi referensi kanggo saiki.

Apa sing kudu ditonton

Telung pitakonan bakal nemtokake manawa DeepInfer diadopsi sacara umum utawa tetep dadi penasaran. Pisanan, apa port masyarakat ngluwihi V4.1-Flash kanggo arsitektur model liyane. Kapindho, apa asil pathokan sing diterbitake ing tabel kinerja repositori tetep ana ing hardware ing njaba klompok DeepSeek dhewe. Katelu, manawa potongan-potongan sing ilang - manajemen cache KV, disaggregasi, lan keseimbangan muatan - teka ing rilis mbesuk, ngowahi mesin dadi kerangka porsi lengkap.

Saiki, rilis kasebut minangka langkah transparansi sing penting saka laboratorium sing wis bola-bali milih nerbitake infrastruktur ing ngisor model kasebut. Pangembang sing pengin eksperimen bisa mbangun DeepInfer saka sumber ing salah siji platform sing didhukung lan mbukak inferensi offline kanthi skrip conto siji.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →