DeepSeek mempunyai DeepInfer sumber terbuka, rangka kerja inferens berprestasi tinggi yang dikatakan oleh makmal AI China menguasai perkhidmatan pengeluaran berskala besarnya sendiri. Kod itu muncul di GitHub di bawah lesen Apache 2.0 dan telah mengumpul lebih daripada 5,500 bintang dalam masa beberapa hari, selepas perbincangan Hacker News mengenai keluaran itu mendapat ratusan undian naik pada hari Isnin.
Menurut README projek itu, keluaran ini memberikan inferens luar talian dengan ciri teras DeepSeek bergantung kepada modelnya pada skala. Konfigurasi lalai menyasarkan DeepSeek-V4.1-Flash, dan rangka kerja memuat turun secara automatik pusat pemeriksaan DeepSeek-V4.1-Flash-1017 daripada Hugging Face pada larian pertama. For more context on this story, see our ongoing latest AI developments.
Perkara yang sebenarnya termasuk DeepInfer
DeepInfer bukan penulisan semula dari awal. Ia mengikat bersama inti khusus DeepSeek telah mengeluarkan sekeping demi sekeping sejak dua tahun lalu — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect dan kernel TileLang tersuai — menjadi satu masa jalan dengan model dan pelaksanaan pensampel terbina dalam.
Rangka kerja ini juga menghantar beberapa teknik penyajian yang didokumenkan secara terperinci dalam repositori:
- Pengesahan berjadual keyakinan, pendekatan penyahkodan spekulatif yang menggunakan token draf dan anggaran keyakinan untuk menjadualkan pengesahan, boleh dikawal melalui pembolehubah persekitaran
- Dekoder SWA main semula bersempadan, yang mengurangkan kerja praisi penyahkod dengan memainkan semula hanya akhiran terhad jujukan
- Penjadualan tak segerak yang bertindih dengan penjadualan kelompok CPU dengan pelaksanaan peranti, didayakan secara lalai
- Inferens kelompok-invarian, yang memastikan keputusan model sama merentas gubahan kelompok yang berbeza
- Pensampelan deterministik, menghasilkan output yang sama untuk input yang sama dan parameter pensampelan
- Output berstruktur, mengekang penjanaan kepada regex, skema JSON atau tatabahasa EBNF
Gabungan itu ditujukan tepat kepada pengendali yang memerlukan penjanaan teks berkeupayaan tinggi dan boleh dihasilkan semula dan bukannya mainan eksperimen. Invarian kelompok dan persampelan deterministik khususnya untuk perusahaan yang mesti mengaudit sebab model menghasilkan output tertentu.
NVIDIA dan Huawei Ascend, sebelah menyebelah
Perincian yang paling diperhatikan adalah sokongan perkakasan. DeepInfer menyasarkan GPU NVIDIA SM100 melalui CUDA 13 dan Huawei Ascend 950 NPU melalui CANN 9.2, dengan Linux, GCC 13 dan Python 3.12 disenaraikan sebagai prasyarat untuk kedua-dua laluan.
Pendirian dwi-platform itu konsisten dengan sejarah DeepSeek baru-baru ini. Syarikat itu telah menghabiskan masa berbulan-bulan membangunkan perisian berasaskan TileLang untuk perkakasan Ascend dan andaian mencabar secara terbuka bahawa CUDA tidak boleh ditukar ganti. Menghantar rangka kerja inferens pengeluaran yang menganggap Ascend sebagai warganegara kelas pertama — dan bukannya kajian semula — melanjutkan strategi itu, dan ia tiba pada masa kawalan eksport AS terus menyekat cip Nvidia yang boleh dibeli oleh syarikat China.
Bagi pengendali awan China yang menjalankan silikon domestik, enjin inferens yang dikekalkan yang menyokong Ascend 950 menghilangkan salah satu halangan praktikal untuk menyediakan model terbuka kelas sempadan di luar ekosistem Nvidia.
Apa yang hilang daripada keluaran
README adalah jelas bahawa ini belum lagi satu timbunan hidangan yang lengkap. Penggunaan pengeluaran yang dibina pada DeepInfer masih memerlukan tiga komponen yang tidak disertakan dalam keluaran: sistem cache KV, pengasingan praisi dan penyahkod serta pengimbangan beban merentas replika selari data. Repositori menyatakan bahawa kebanyakan fungsi enjin yang diperlukan untuk pengasingan telah dilaksanakan, tetapi sistem sekeliling diserahkan kepada pengendali.
Dalam amalan ini bermakna DeepInfer paling baik difahami sebagai enjin pengiraan infrastruktur DeepSeek dan bukannya alternatif turnkey kepada rangka kerja perkhidmatan komuniti. Pasukan masih perlu menyepadukannya dengan caching dan lapisan penghalaan sebelum meletakkannya di hadapan trafik sebenar.
Mengapa ia penting
Perniagaan DeepSeek bergantung pada penyajian model dengan sangat murah, dan ekonomi perniagaan itu telah menjadi subjek penelitian yang mendalam ketika syarikat menuju ke arah yang disifatkannya sebagai penetapan harga beralih daripada kedudukan kos rendahnya yang terdahulu. Membuka laluan inferens pengeluaran sebenar — bukan hanya kod penyelidikan — memberikan pembangun luar dan penyedia awan pandangan langsung yang luar biasa pada teknik di sebalik kos tersebut.
Ia juga meneruskan corak yang disengajakan. FlashMLA, DeepGEMM dan DeepEP semuanya dikeluarkan secara individu semasa makmal membina timbunannya; DeepInfer secara berkesan mendokumenkan cara kepingan itu sesuai bersama. Bagi penyelidik, keluaran ini memudahkan untuk menghasilkan semula tuntutan prestasi terbitan DeepSeek. Bagi pesaing, ia meningkatkan bar untuk apa yang dikira sebagai tindanan inferens terbuka.
Lesen Apache 2.0 membenarkan penggunaan komersil tanpa kewajipan copyleft, yang bermaksud penyedia awan Barat boleh menggunakan ia secara sah — walaupun sokongan modelnya kini terhad kepada pusat pemeriksaan V4.1-Flash DeepSeek sendiri, jadi kebanyakannya akan menganggapnya sebagai pelaksanaan rujukan buat masa ini.
Apa yang perlu ditonton
Tiga soalan akan menentukan sama ada DeepInfer diterima pakai secara meluas atau kekal sebagai rasa ingin tahu. Pertama, sama ada komuniti memindahkannya ke luar V4.1-Flash kepada seni bina model lain. Kedua, sama ada hasil penanda aras yang diterbitkan dalam jadual prestasi repositori mengekalkan perkakasan di luar kelompok DeepSeek sendiri. Ketiga, sama ada bahagian yang hilang — pengurusan cache KV, pengasingan dan pengimbangan beban — tiba dalam keluaran akan datang, menjadikan enjin menjadi rangka kerja servis yang lengkap.
Buat masa ini, keluaran itu merupakan langkah ketelusan yang ketara daripada makmal yang telah berulang kali memilih untuk menerbitkan infrastruktur di bawah modelnya. Pembangun yang ingin mencuba boleh membina DeepInfer daripada sumber pada sama ada platform yang disokong dan menjalankan inferens luar talian dengan satu skrip contoh.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
