DeepSeek memiliki DeepInfer bersumber terbuka, kerangka kerja inferensi berkinerja tinggi yang menurut laboratorium AI Tiongkok mendukung layanan produksi skala besarnya sendiri. Kode tersebut muncul di GitHub di bawah lisensi Apache 2.0 dan telah mengumpulkan lebih dari 5.500 bintang dalam beberapa hari, setelah diskusi Hacker News tentang rilis tersebut menarik ratusan suara positif pada hari Senin.

Menurut README proyek, rilis ini memberikan inferensi offline dengan fitur inti yang diandalkan DeepSeek untuk melayani modelnya dalam skala besar. Konfigurasi default menargetkan DeepSeek-V4.1-Flash, dan kerangka kerja secara otomatis mengunduh pos pemeriksaan DeepSeek-V4.1-Flash-1017 dari Hugging Face saat pertama kali dijalankan. For more context on this story, see our ongoing latest AI developments.

Apa yang sebenarnya termasuk dalam DeepInfer

DeepInfer bukanlah penulisan ulang dari awal. Ini menyatukan kernel khusus yang telah dirilis DeepSeek sepotong demi sepotong selama dua tahun terakhir — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, dan kernel TileLang khusus — ke dalam satu runtime dengan model dan eksekusi sampler bawaan.

Kerangka kerja ini juga mengirimkan beberapa teknik penyajian yang didokumentasikan secara rinci dalam repositori:

  • Verifikasi terjadwal secara percaya diri, pendekatan decoding spekulatif yang menggunakan token draf dan perkiraan keyakinan untuk menjadwalkan verifikasi, dapat dikontrol melalui variabel lingkungan
  • Pemutaran ulang berbatas SWA dekoder, yang mengurangi pekerjaan pra-pengisian dekoder dengan hanya memutar ulang sufiks berbatas dari urutan
  • Penjadwalan asinkron yang tumpang tindih dengan penjadwalan batch CPU dengan eksekusi perangkat, diaktifkan secara default
  • Inferensi invarian batch, yang menjaga hasil model tetap identik di berbagai komposisi batch
  • Pengambilan sampel deterministik, menghasilkan keluaran yang identik untuk masukan dan parameter pengambilan sampel yang identik
  • Output terstruktur, membatasi pembuatan ke regex, skema JSON, atau tata bahasa EBNF

Kombinasi tersebut ditujukan tepat pada operator yang memerlukan pembuatan teks dengan throughput tinggi dan dapat direproduksi, dibandingkan perangkat eksperimental. Invariansi batch dan pengambilan sampel deterministik khususnya penting bagi perusahaan yang harus mengaudit mengapa suatu model menghasilkan output tertentu.

NVIDIA dan Huawei Ascend, berdampingan

Detail yang paling diperhatikan adalah dukungan perangkat keras. DeepInfer menargetkan GPU NVIDIA SM100 melalui CUDA 13 dan NPU Huawei Ascend 950 melalui CANN 9.2, dengan Linux, GCC 13, dan Python 3.12 terdaftar sebagai prasyarat untuk kedua jalur.

Pendirian platform ganda tersebut konsisten dengan sejarah terkini DeepSeek. Perusahaan telah menghabiskan waktu berbulan-bulan untuk mengembangkan perangkat lunak berbasis TileLang untuk perangkat keras Ascend dan secara terbuka menantang asumsi bahwa CUDA tidak dapat tergantikan. Pengiriman kerangka inferensi produksi yang memperlakukan Ascend sebagai warga negara kelas satu – bukan hanya sebuah penelitian – memperluas strategi tersebut, dan hal ini terjadi pada saat kontrol ekspor AS terus membatasi chip Nvidia mana yang dapat dibeli oleh perusahaan Tiongkok.

Bagi operator cloud Tiongkok yang menjalankan silikon dalam negeri, mesin inferensi yang didukung Ascend 950 menghilangkan salah satu hambatan praktis dalam melayani model terbuka kelas terdepan di luar ekosistem Nvidia.

Apa yang hilang dari rilis

README secara eksplisit menyatakan bahwa ini belum merupakan tumpukan penyajian yang lengkap. Penerapan produksi yang dibangun di DeepInfer masih memerlukan tiga komponen yang tidak termasuk dalam rilis: sistem cache KV, disagregasi pra-pengisian dan dekode, dan penyeimbangan beban di seluruh replika paralel data. Repositori mencatat bahwa sebagian besar fungsi mesin yang diperlukan untuk pemilahan sudah diterapkan, namun sistem di sekitarnya diserahkan kepada operator.

Dalam praktiknya, ini berarti DeepInfer paling baik dipahami sebagai mesin komputasi infrastruktur DeepSeek, bukan sebagai alternatif siap pakai untuk kerangka kerja layanan masyarakat. Tim masih perlu mengintegrasikannya dengan lapisan caching dan perutean sebelum menampilkannya di lalu lintas sebenarnya.

Mengapa itu penting

Bisnis DeepSeek bertumpu pada penyediaan model dengan harga yang sangat murah, dan keekonomian bisnis tersebut telah menjadi subjek pengawasan ketat seiring dengan bergeraknya perusahaan menuju apa yang digambarkan sebagai perubahan harga dari posisi berbiaya rendah sebelumnya. Membuka jalur inferensi produksi yang sebenarnya — bukan hanya kode penelitian — memberikan pengembang luar dan penyedia cloud pandangan langsung yang tidak biasa mengenai teknik di balik biaya tersebut.

Hal ini juga melanjutkan pola yang disengaja. FlashMLA, DeepGEMM, dan DeepEP semuanya dirilis secara individual saat lab membangun tumpukannya; DeepInfer secara efektif mendokumentasikan bagaimana bagian-bagian tersebut cocok satu sama lain. Bagi para peneliti, rilis ini memudahkan untuk mereproduksi klaim kinerja DeepSeek yang dipublikasikan. Bagi pesaing, hal ini meningkatkan standar apa yang dianggap sebagai tumpukan inferensi terbuka.

Lisensi Apache 2.0 mengizinkan penggunaan komersial tanpa kewajiban copyleft, yang berarti penyedia cloud Barat dapat menerapkannya secara legal — meskipun dukungan modelnya saat ini terbatas pada pos pemeriksaan V4.1-Flash milik DeepSeek, sehingga sebagian besar akan memperlakukannya sebagai implementasi referensi untuk saat ini.

Apa yang harus ditonton

Tiga pertanyaan akan menentukan apakah DeepInfer diadopsi secara luas atau tetap menjadi rasa ingin tahu. Pertama, apakah komunitas mem-portingnya melampaui V4.1-Flash ke arsitektur model lain. Kedua, apakah hasil benchmark yang dipublikasikan dalam tabel kinerja repositori dapat bertahan pada perangkat keras di luar cluster DeepSeek sendiri. Ketiga, apakah bagian yang hilang — manajemen cache KV, disagregasi, dan penyeimbangan beban — hadir di rilis mendatang, mengubah mesin menjadi kerangka kerja penyajian yang lengkap.

Untuk saat ini, rilis ini merupakan langkah transparansi penting dari laboratorium yang telah berulang kali memilih untuk mempublikasikan infrastruktur di bawah modelnya. Pengembang yang ingin bereksperimen dapat membuat DeepInfer dari sumber pada platform yang didukung dan menjalankan inferensi offline dengan satu contoh skrip.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →