DeepSeek တွင် တရုတ် AI ဓာတ်ခွဲခန်းမှ ၎င်း၏ကိုယ်ပိုင် အကြီးစားထုတ်လုပ်မှုဝန်ဆောင်မှုများကို စွမ်းဆောင်နိုင်သည်ဟု တရုတ် AI ဓာတ်ခွဲခန်းမှ စွမ်းဆောင်ရည်မြင့်မားသော အနုအရင့်မူဘောင်ဖြစ်သော DeepInfer တွင် အရင်းအမြစ်တစ်ခုရှိသည်။ ကုဒ်သည် Apache 2.0 လိုင်စင်အောက်တွင် GitHub တွင်ပေါ်လာပြီး တနင်္လာနေ့တွင် ရာနှင့်ချီသော ထောက်ခံမဲများရရှိခဲ့သည့် Hacker News ဆွေးနွေးမှုအပြီး ရက်ပိုင်းအတွင်း ကြယ်ပေါင်း 5,500 ကျော်ကို စုဆောင်းပြီးဖြစ်သည်။

ပရောဂျက်၏ README အရ၊ ဖြန့်ချိမှုသည် DeepSeek သည် ၎င်း၏မော်ဒယ်များကို အတိုင်းအတာတစ်ခုအထိ ဝန်ဆောင်မှုပေးရန်အတွက် အခြေခံအင်္ဂါရပ်များနှင့်အတူ အော့ဖ်လိုင်း ကောက်ချက်ချမှုကို ပေးပါသည်။ မူရင်းဖွဲ့စည်းပုံသည် DeepSeek-V4.1-Flash ကို ပစ်မှတ်ထားပြီး ပထမအပြေးတွင် Hugging Face မှ DeepSeek-V4.1-Flash-1017 စစ်ဆေးရေးဂိတ်ကို အလိုအလျောက်ဒေါင်းလုဒ်လုပ်ပါသည်။ For more context on this story, see our ongoing more AI stories.

DeepInfer အမှန်တကယ် ပါ၀င်သည်

DeepInfer သည် ခြစ်ရာမှ ပြန်လည်ရေးသားခြင်းမဟုတ်ပါ။ ၎င်းသည် လွန်ခဲ့သည့် နှစ်နှစ်အတွင်း အပိုင်းတစ်ခုပြီးတစ်ခု ထုတ်လွှတ်လိုက်သည့် DeepSeek သည် FlashMLA၊ DeepGEMM၊ DeepEP၊ TileKernels၊ DeepSelect နှင့် စိတ်ကြိုက် TileLang kernels တို့ကို အတူတကွ ချိတ်ဆက်ထားပြီး — မော်ဒယ်နှင့် နမူနာလုပ်ဆောင်မှု လုပ်ဆောင်မှု တစ်ခုတည်းတွင် လုပ်ဆောင်ချိန်တစ်ခုအဖြစ် ချိတ်ဆက်ထားသည်။

မူဘောင်သည် သိုလှောင်မှုတွင် အသေးစိတ်မှတ်တမ်းတင်ထားသော ဝန်ဆောင်မှုပေးသည့်နည်းပညာများစွာကိုလည်း ပို့ဆောင်ပေးသည်-

  • ယုံကြည်မှု-အချိန်ဇယားဆွဲအတည်ပြုခြင်း၊ မူကြမ်းတိုကင်များနှင့် ယုံကြည်စိတ်ချရမှု ခန့်မှန်းချက်များကို အသုံးပြုသည့် မှန်းဆချက်ဖြင့် ကုဒ်လုပ်ခြင်းနည်းလမ်း၊ အတည်ပြုခြင်းကို အချိန်ဇယားဆွဲရန်၊ ပတ်၀န်းကျင် ပြောင်းလဲနိုင်မှုများမှတစ်ဆင့် ထိန်းချုပ်နိုင်သည်။
  • Decoder SWA bounded replay၊ ၎င်းသည် ကုဒ်ဒါ၏ အကြိုဖြည့်လုပ်ဆောင်မှုကို လျှော့ချပေးသည့် sequence ၏ နောက်ဆက်တွဲတစ်ခုသာ ပြန်လည်ကစားခြင်းဖြင့်၊
  • ပုံမှန်အားဖြင့် ဖွင့်ထားသည့် CPU batch အစီအစဉ်ကို ထပ်နေသည့် အညီအမျှ အချိန်ဇယားဆွဲခြင်း၊
  • Batch-invariant inference၊ မတူညီသော batch ပေါင်းစပ်မှုများတွင် မော်ဒယ်ရလဒ်များကို ထပ်တူထပ်မျှ ထိန်းသိမ်းပေးသည်။
  • Deterministic sampling၊ တူညီသော သွင်းအားစုများနှင့် စံနမူနာဘောင်များအတွက် တူညီသော တူညီသော အထွက်များကို ထုတ်လုပ်ပေးသည်
  • ဖွဲ့စည်းပုံ ရလဒ်များ၊ မျိုးဆက်ကို regex၊ JSON schema သို့မဟုတ် EBNF သဒ္ဒါသို့ ကန့်သတ်ထားသည်။

ဤပေါင်းစပ်မှုသည် စမ်းသပ်ကစားမှုများထက် ဆင့်ပွားထုတ်လုပ်နိုင်သော၊ မြင့်မားသော စာသားမျိုးဆက်လိုအပ်သော အော်ပရေတာများအတွက် လေးလေးနက်နက် ရည်ရွယ်ပါသည်။ မော်ဒယ်တစ်ခုသည် ပေးထားသော output ကို အဘယ်ကြောင့်ထုတ်လုပ်ရသည်ကို စစ်ဆေးရန် လိုအပ်သော လုပ်ငန်းများအတွက် အစုလိုက်ကွဲလွဲမှုနှင့် အဆုံးအဖြတ်နမူနာများ။

NVIDIA နှင့် Huawei Ascend သည် ဘေးချင်းယှဉ်လျက်

အနီးကပ်ကြည့်ဆုံးအသေးစိတ်မှာ ဟာ့ဒ်ဝဲပံ့ပိုးမှုဖြစ်သည်။ DeepInfer သည် CUDA 13 နှင့် Huawei Ascend 950 NPUs မှတဆင့် CANN 9.2 မှတဆင့် NVIDIA SM100 GPU များကို ပစ်မှတ်ထားပြီး Linux၊ GCC 13 နှင့် Python 3.12 လမ်းကြောင်းနှစ်ခုလုံးအတွက် လိုအပ်ချက်များအဖြစ် စာရင်းသွင်းထားသည်။

အဆိုပါ dual-platform ရပ်တည်ချက်သည် DeepSeek ၏မကြာသေးမီကသမိုင်းနှင့်ကိုက်ညီသည်။ ကုမ္ပဏီသည် Ascend hardware အတွက် TileLang-based software ကို လအတန်ကြာ တီထွင်ခဲ့ပြီး CUDA သည် အစားထိုး၍မရသော လူသိရှင်ကြား စိန်ခေါ်သည့် ယူဆချက်များ ဖြစ်သည်။ သုတေသနပြုမှုတစ်ခုထက် Ascend ကို ပထမတန်းစားနိုင်ငံသားအဖြစ် သဘောထားသည့် ထုတ်လုပ်မှုအနုမာနမူဘောင်တစ်ခု တင်ပို့ခြင်းသည် ယင်းဗျူဟာကို ချဲ့ထွင်ကာ Nvidia ချစ်ပ်များကို တရုတ်ကုမ္ပဏီများဝယ်ယူနိုင်သည့် US ပို့ကုန်ထိန်းချုပ်မှုများကို ဆက်လက်ကန့်သတ်လိုက်သည့်အချိန်တွင် ၎င်းသည် ရောက်ရှိလာပါသည်။

ပြည်တွင်းဆီလီကွန်အသုံးပြုသည့် တရုတ် cloud အော်ပရေတာများအတွက်၊ Ascend 950 ကို ပံ့ပိုးပေးသည့် ထိန်းသိမ်းထားသော အနုမာနအင်ဂျင်သည် Nvidia ဂေဟစနစ်အပြင်ဘက်တွင် ရှေ့တန်းတန်းစားဖွင့်မော်ဒယ်များကို ဝန်ဆောင်မှုပေးရန်အတွက် လက်တွေ့ကျသော အတားအဆီးများကို ဖယ်ရှားပေးသည်။

လွှတ်​​တော်​မှ လွဲမှား​နေသည်​

README သည် ၎င်းသည် ပြီးပြည့်စုံသော ဝန်ဆောင်မှုပေးသည့် stack တစ်ခုမဟုတ်သေးကြောင်း ရှင်းလင်းပြတ်သားစွာ ရှင်းလင်းထားသည်။ DeepInfer ပေါ်တွင် တည်ဆောက်ထားသော ထုတ်လုပ်မှု ဖြန့်ကျက်မှုတွင် ထုတ်ဝေမှုတွင် မပါဝင်သည့် အစိတ်အပိုင်း သုံးခု လိုအပ်ပါသေးသည်။ ခွဲထွက်ခြင်းအတွက် လိုအပ်သော အင်ဂျင်လုပ်ဆောင်ချက်အများစုကို အကောင်အထည်ဖော်ပြီးဖြစ်သည်၊ သို့သော် ပတ်ဝန်းကျင်စနစ်များကို အော်ပရေတာထံ ချန်ထားခဲ့သည်ကို သိုလှောင်မှုမှ မှတ်သားထားသည်။

လက်တွေ့တွင် DeepInfer သည် ရပ်ရွာဝန်ဆောင်မှုပေးသည့် မူဘောင်များထက် လှည့်ကွက်အစားထိုးခြင်းမဟုတ်ဘဲ DeepSeek ၏အခြေခံအဆောက်အအုံ၏တွက်ချက်မှုအင်ဂျင်အဖြစ် အကောင်းဆုံးနားလည်ထားသည်ဟု ဆိုလိုသည်။ အဖွဲ့များသည် ၎င်းကို အစစ်အမှန်အသွားအလာ၏ရှေ့တွင် မထားခဲ့မီ ကက်ချခြင်းနှင့် လမ်းကြောင်းသတ်မှတ်ခြင်းအလွှာများနှင့် ပေါင်းစပ်ရန် လိုအပ်မည်ဖြစ်သည်။

##ဘာကြောင့်အရေးကြီးတာလဲ။

DeepSeek ၏ လုပ်ငန်းသည် မော်ဒယ်များကို အလွန်စျေးပေါစွာ ဝန်ဆောင်မှုပေးသည့်အပေါ်တွင် တည်ရှိနေပြီး၊ ကုမ္ပဏီသည် ၎င်း၏ အစောပိုင်းက ကုန်ကျစရိတ်သက်သာသော အနေအထားမှ စျေးနှုန်းများ ရွေ့လျားသွားသည့်အတွက် ကုမ္ပဏီမှ ဖော်ပြထားသည့်အရာဆီသို့ ဦးတည်သွားသောကြောင့် အဆိုပါလုပ်ငန်း၏ စီးပွားရေးသည် ပြင်းထန်သော စိစစ်မှုတစ်ခုဖြစ်သည်။ အမှန်တကယ် ထုတ်လုပ်မှု အနုမာနလမ်းကြောင်းကို ဖွင့်ခြင်း - သုတေသနကုဒ်တင်မကဘဲ - ပြင်ပ developer များနှင့် cloud ပံ့ပိုးပေးသူများသည် ထိုကုန်ကျစရိတ်များ၏ နောက်ကွယ်ရှိ နည်းပညာများကို ပုံမှန်မဟုတ်စွာ တိုက်ရိုက်ကြည့်ရှုနိုင်စေပါသည်။

၎င်းသည် တမင်ပုံစံအတိုင်း ဆက်သွားနေပါသည်။ ဓာတ်ခွဲခန်းက ၎င်း၏အစုအဝေးကို တည်ဆောက်ထားသောကြောင့် FlashMLA၊ DeepGEMM နှင့် DeepEP အားလုံးကို တစ်ဦးချင်းစီ လွှတ်ပေးခဲ့သည်။ DeepInfer သည် အပိုင်းများ မည်ကဲ့သို့ လိုက်ဖက်သည်ကို ထိရောက်စွာ မှတ်တမ်းတင်ပါသည်။ သုတေသီများအတွက်၊ ထုတ်ဝေမှုသည် DeepSeek ၏ထုတ်ဝေထားသောစွမ်းဆောင်ရည်တောင်းဆိုချက်များကိုပြန်လည်ထုတ်လုပ်ရန်ပိုမိုလွယ်ကူစေသည်။ ပြိုင်ဖက်များအတွက်၊ ၎င်းသည် ပွင့်လင်းသော အနုမာနအစုအဖြစ် ရေတွက်သည့်အရာအတွက် ဘားကို မြှင့်ပေးသည်။

Apache 2.0 လိုင်စင်သည် ကော်ပီလက်ဝဲတာဝန်များမပါဘဲ စီးပွားဖြစ်အသုံးပြုမှုကို ခွင့်ပြုပေးသည်၊ ဆိုလိုသည်မှာ အနောက်တိုင်း cloud ဝန်ဆောင်မှုပေးသူများသည် ၎င်းကိုတရားဝင်အသုံးချနိုင်သည်—၎င်း၏မော်ဒယ်ပံ့ပိုးမှုသည် လက်ရှိတွင် DeepSeek ၏ကိုယ်ပိုင် V4.1-Flash စစ်ဆေးရေးဂိတ်တွင်သာ ကန့်သတ်ထားသော်လည်း၊ အများစုမှာ ၎င်းကို ရည်ညွှန်းအကောင်အထည်ဖော်မှုအဖြစ် သဘောထားကြသည်။

##ဘာကြည့်ရမလဲ

DeepInfer ကို ကျယ်ကျယ်ပြန့်ပြန့် လက်ခံကျင့်သုံးခြင်း ရှိ၊ မရှိ မေးခွန်းသုံးခုက ဆုံးဖြတ်ပေးလိမ့်မည်။ ပထမ၊ အသိုက်အဝန်းက ၎င်းကို V4.1-Flash ကိုကျော်လွန်၍ အခြားမော်ဒယ်ဗိသုကာများထံ ပို့မလား။ ဒုတိယ၊ သိုလှောင်မှု၏ စွမ်းဆောင်ရည်ဇယားများတွင် ထုတ်ပြန်ထားသော စံရလဒ်ရလဒ်များသည် DeepSeek ၏ကိုယ်ပိုင်အစုအဝေးများအပြင်ဘက်ရှိ ဟာ့ဒ်ဝဲပေါ်တွင် တည်ရှိနေသလား။ တတိယ၊ ပျောက်ဆုံးနေသောအပိုင်းများ — KV cache management၊ disaggregation နှင့် load balancing — သည် နောင်ထွက်ရှိမှုများတွင် ရောက်ရှိလာပြီး အင်ဂျင်ကို ပြီးပြည့်စုံသော serving framework အဖြစ်သို့ ပြောင်းလဲပေးသည်။

ယခုအချိန်တွင်၊ ထုတ်ဝေမှုသည် ၎င်း၏မော်ဒယ်များအောက်ရှိ အခြေခံအဆောက်အအုံများကို ထုတ်ဝေရန် ထပ်ခါတလဲလဲ ရွေးချယ်ထားသည့် ဓာတ်ခွဲခန်းမှ ထင်ရှားသော ပွင့်လင်းမြင်သာမှုတစ်ခုဖြစ်သည်။ စမ်းသပ်လိုသော developer များသည် ပံ့ပိုးထားသော ပလပ်ဖောင်းပေါ်တွင် အရင်းအမြစ်မှ DeepInfer ကို တည်ဆောက်နိုင်ပြီး ဥပမာ script တစ်ခုတည်းဖြင့် အော့ဖ်လိုင်း inference ကို လုပ်ဆောင်နိုင်သည်။

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →