တရုတ် AI ဓာတ်ခွဲခန်း Z.ai သည် ၎င်းတို့ကို ဝန်ဆောင်မှုပေးသော စနစ်များကို ပိုမိုကောင်းမွန်အောင် လုပ်ဆောင်ရန် GLM မော်ဒယ်များကို မည်သို့လုပ်ဆောင်ရမည်ကို အသေးစိတ်နည်းပညာဆိုင်ရာ အကောင့်ကို ထုတ်ပြန်ခဲ့ပြီး ကုမ္ပဏီ၏ အနုမာနအခြေခံအဆောက်အအုံများတွင် စွမ်းဆောင်ရည်ဆိုင်ရာ ပိတ်ဆို့မှုများကို ရှာဖွေကာ ကန့်သတ်ထားသော လူသားဝင်ရောက်စွက်ဖက်မှုရှိသော "Infra Agent" ကို ဖော်ပြထားပါသည်။
"Recursive Self-Improvement ဆီသို့- GLM သည် ၎င်း၏ကိုယ်ပိုင် Inference Infrastructure ကို မည်သို့တည်ဆောက်ခဲ့သည်" ခေါင်းစဉ်တပ်ထားသည့် ဘလော့ဂ်ပို့စ်သည် ဗုဒ္ဓဟူးနေ့တွင် ကုမ္ပဏီ၏ဆိုက်တွင် တက်လာပြီး ဆော့ဖ်ဝဲရေးသားသူအသိုင်းအဝန်းမှ အမှတ် 200 ကျော်ကို ရယူထားသည့် Hacker News တွင် ဆွေးနွေးမှုအများဆုံး နည်းပညာဇာတ်လမ်းများထဲမှ တစ်ခုဖြစ်လာခဲ့သည်။ For more context on this story, see our ongoing AI trends.
"ကျွန်ုပ်တို့ GLM ဖွံ့ဖြိုးတိုးတက်လာသည်နှင့်အမျှ၊ မော်ဒယ်သည် တစ်ခါတစ်ရံတွင် ကျွန်ုပ်တို့ကို အံ့အားသင့်စေသည့် စွမ်းရည်များကို ပြသပြီး ကျွန်ုပ်တို့ကိုပင် စိတ်အနှောက်အယှက်ဖြစ်စေသည်" ဟု ကုမ္ပဏီက ပို့စ်၏ အဖွင့်လိုင်းများတွင် ရေးသားခဲ့သည်။
ဆိုက်ဘာလုံခြုံရေးသုတေသနမှ Self-Optimizing စနစ်များအထိ
Z.ai သည် GLM ၏ ဆိုက်ဘာလုံခြုံရေးစွမ်းရည်ကို အားကောင်းအောင် မည်သို့လုပ်ဆောင်ရမည်ကို Z.ai မှ စတင်သုတေသနပြုသောအခါ အဆိုပါအလုပ်သည် 2025 ခုနှစ် အောက်တိုဘာလအထိ ခြေရာခံသည်။ ကုမ္ပဏီက ကျိုးကြောင်းဆင်ခြင်ခြင်းသည် ရိုးရှင်းသည်- ဆိုက်ဘာလုံခြုံရေးသည် ကုဒ်လုပ်ခြင်း၏ သဘာဝအတိုင်း တိုးချဲ့မှုတစ်ခုဖြစ်ပြီး၊ ကြီးမားသောကုဒ်ဘေ့စ်များကို လမ်းညွှန်နိုင်သည့် မော်ဒယ်များသည် အင်ဂျင်နီယာအများစုရှောင်ရှားသည့် အဆင့်နိမ့်စနစ်ကုဒ်များကို နောက်ဆုံးတွင် လမ်းညွှန်နိုင်မည်ဖြစ်သည်။
ထိုအခြေခံအုတ်မြစ်သည် ပိုမိုရည်မှန်းချက်ကြီးသော အရာတစ်ခုအဖြစ် ပြောင်းလဲလာသည်။ မော်ဒယ်များကို ကုဒ်ရေးရန်သက်သက် အသုံးပြုမည့်အစား၊ Z.ai သည် စနစ်အင်ဂျင်နီယာဆိုင်ရာ မေးခွန်းကို ဖြေရန် ထွက်လာသည်- AI အေးဂျင့်သည် ထုတ်လုပ်မှု အနုမာနအစုတစ်ခု၏ စွမ်းဆောင်ရည်၊ မော်ဒယ်အလေးချိန်ကို မြန်ဆန်ပြီး စျေးပေါသော တုံ့ပြန်မှုများအဖြစ် ပြောင်းလဲပေးသည့် ဆော့ဖ်ဝဲလ်နှင့် ဟာ့ဒ်ဝဲ ညှိနှိုင်းရေးအလွှာအတွက် တာဝန်ယူနိုင်ပါသလား။
ကုမ္ပဏီ၏ အဖြေသည် ပြဿနာကို ပြန်လည်ပုံဖော်ခြင်းတွင် ပါဝင်ပါသည်။ အဆုံးမှ အဆုံးအထိ မက်ထရစ်များ တစ်ခုတည်း၊ ပို့စ်သည် အငြင်းအခုံဖြစ်ပြီး၊ ပိုမိုကောင်းမွန်အောင် လုပ်ဆောင်သည့် အေးဂျင့်ကို လမ်းညွှန်မပေးနိုင်ပါ။ Time-to-first-token သည် 30 ရာခိုင်နှုန်း တိုးလာသည် သို့မဟုတ် ထို output သည် 20 ရာခိုင်နှုန်း ကျဆင်းသွားသည့် အစီရင်ခံစာသည် တစ်ခုခု ပိုဆိုးသွားကြောင်း အေးဂျင့်အား ပြောပြသည်၊ သို့သော် မည်သည့်အလွှာတွင် တာဝန်ရှိသည်၊ ၎င်း၏ ယူဆချက် မအောင်မြင်သနည်း၊ သို့မဟုတ် နောက်မည်သို့ စမ်းသပ်ရမည်နည်း။
"ကျွန်ုပ်တို့သည် ကျဲပါးသော အဆုံးမှ အဆုံးရလဒ်များကို စေ့စေ့စပ်စပ်ဖြစ်နိုင်သော အင်ဂျင်နီယာဆိုင်ရာ အကြံပြုချက်အဖြစ် လာမည့်လုပ်ဆောင်ချက်ကို တိုက်ရိုက်လမ်းညွှန်ပေးမည့် ကျွန်ုပ်တို့ မည်သို့ပြောင်းလဲနိုင်မည်နည်း။" ကုမ္ပဏီသည် ကြိုးပမ်းမှုတစ်ခုလုံးအတွက် အဓိကသော့ချက်အဖြစ် အဆိုပါမေးခွန်းကို ပို့စ်တွင် မေးထားသည်။
Agent-Readable Feedback အတွက် စည်းမျဉ်းသုံးခု
Z.ai ၏အဖြေသည် ဝိသေသသုံးရပ်ပေါ်တွင်တည်ဆောက်ထားသော တုံ့ပြန်မှုစည်းကမ်းတစ်ခုဖြစ်သည်။ ပထမဦးစွာ၊ အကြံပြုချက်သည် လုံလောက်သောဒေသဖြစ်ရမည်၊ တိကျသောအင်ဂျင်စတင်ခြင်းဆိုင်ရာ ကန့်သတ်ချက်များ၊ ကုဒ်ပြောင်းလဲမှုများ၊ kernels၊ ထည့်သွင်းမှုအခြေအနေများ၊ threads၊ လုပ်ဆောင်မှုကြားကာလများ သို့မဟုတ် ကုဒ်လမ်းကြောင်းများနှင့် ချိတ်ဆက်ထားရမည်ဖြစ်ပြီး၊ ထို့ကြောင့် အေးဂျင့်သည် မည်သည့်ပြဿနာ၏နယ်ပယ်ကို ကျဉ်းမြောင်းစေမည်နည်း။ ဒုတိယ၊ ရရှိရန် စျေးသက်သာပြီး အချိန်မီရပါမည်- kernel စမ်းသပ်မှု သို့မဟုတ် ဒေသဆိုင်ရာ microbenchmark ဖြင့် ဖြေဆိုနိုင်သောမေးခွန်းသည် ဝန်ဆောင်မှုအပြည့်အ၀ဖြန့်ကျက်မှုမလိုအပ်ပါ။ တတိယ၊ အတည်ပြုချက်သည် ပုံသေအစီအစဥ်ကို လိုက်နာခြင်းထက် တိကျသောမေးခွန်းတစ်ခုကို ဖြေဆိုရန်အတွက် စမ်းသပ်မှုတိုင်းတွင် လက်ရှိယူဆချက်နှင့် ကိုက်ညီသင့်သည်။
ဤသိပ်သည်းသော တုံ့ပြန်ချက်ကွင်းဆက်သည် Infra Agent အား အင်ဂျင်နီယာများအတွက် အလိုအလျောက်ဖြည့်သွင်းသည့်ပုံစံနှင့် ညတွင်းချင်း လက်တွေ့စမ်းသပ်မှုများကို လုပ်ဆောင်နိုင်သည့် လုပ်ဖော်ကိုင်ဖက်တစ်ဦးကဲ့သို့ ပြုမူနိုင်စေသည့် Infra Agent အား ခွင့်ပြုပေးသည့်အရာဖြစ်သည်ဟု ကုမ္ပဏီက ပြောကြားခဲ့သည်။
ကိန်းဂဏာန်းများမှ Threading Bug တစ်ခုအထိ၊ Case Studies သုံးခု
ပို့စ်သည် သြဂုတ်လတွင် MIT လိုင်စင်အောက်မှ ထုတ်လွှတ်သော GLM-5.3-Flash အတွက် ကုမ္ပဏီ၏ ဝန်ဆောင်မှုအပိုင်းကို ပိုမိုကောင်းမွန်အောင် လုပ်ဆောင်ခြင်းမှ ခိုင်မာသော အပိုင်းသုံးပိုင်းကို ဖြတ်သွားပါသည်။
ပထမအချက်မှာ မှန်ကန်မှု ပါဝင်တယ်။ အနုမာနပိုကောင်းအောင်ပြင်ဆင်မှုများသည် တွက်ချက်မှုများအပြိုင်အပြိုင်ပြုလုပ်ပုံကို ပြန်လည်အပြောင်းအလဲပြုလုပ်ထားသောကြောင့် kernels များသည် အပိုင်းပိုင်းခွဲထားသောနှင့် အပိုင်းခွဲမထားသောအခြေအနေများအောက်တွင် တူညီသောရလဒ်များကိုထုတ်ပေးကြောင်း အတည်ပြုရန် လိုအပ်ပါသည်။ ကိစ္စတစ်ခုတွင်၊ အဖွဲ့သည် Tensor Core စွမ်းဆောင်ရည် အားသာချက်အများစုကို ထိန်းသိမ်းထားစဉ်တွင် ပိုမိုတိကျသောရလဒ်ထွက်ရှိစေရန် TF32 Tensor Core လုပ်ဆောင်ချက်သုံးခုကို ပေါင်းစပ်ပြီး စုဆောင်းထားသောဂဏန်းအမှားကို လျှော့ချပေးသည်။ ပိုင်းခြားခြင်းဆိုင်ရာ ဗျူဟာများကြား နှိုင်းယှဉ်စမ်းသပ်ခြင်း သည် ပြုပြင်မှုကို လှုံ့ဆော်ပေးသည့် ကွဲလွဲမှုများကို ဖော်ထုတ်ပြသခဲ့သည်။
ဒုတိယမှာ စွမ်းဆောင်ရည် အင်ဂျင်နီယာတိုင်းနှင့် ရင်းနှီးစေမည့် စနစ်-အမှားပြင်ဆင်ခြင်း ဇာတ်လမ်းဖြစ်သည်။ လက်ခံမှုစံနှုန်းများသည် ဝန်ဆောင်မှုလမ်းကြောင်းသို့ KV ကက်ရှ်လွှဲပြောင်းခြင်းကို ပေါင်းထည့်ခြင်းသည် တူညီသောအလုပ်များအောက်တွင် ဖြည့်စွက်စွမ်းဆောင်ရည်ကို 5 ရာခိုင်နှုန်းထက်မပိုစေရပါ။ အချို့သောအခြေအနေများတွင် ကွာဟချက် 20 ရာခိုင်နှုန်းကို အေးဂျင့်က တွေ့ရှိခဲ့ပြီး၊ စုံစမ်းစစ်ဆေးမှုသည် KV လွှဲပြောင်းခြင်း၏ ဆက်စပ်အပြုအမူကို ကျဉ်းမြောင်းသွားစေသည်။ လုပ်ဆောင်ချက်အချိန်ဇယားများကို ဆန်းစစ်ခြင်း၊ အေးဂျင့်သည် ကွဲလွဲမှုကို ဖော်ထုတ်ခဲ့သည်- ပြဿနာအခြေအနေများတွင်၊ Python-side KV လွှဲပြောင်းမှုလုပ်ဆောင်မှုသည် dispatch နှင့် ထပ်မထပ်ဘဲ DeepEP ဆက်သွယ်ရေးစာကြည့်တိုက်၏ ကြားကာလများကို ပေါင်းစပ်ထားသည်။ ပြုပြင်မှုသည် သက်ဆိုင်ရာ C++ လုပ်ဆောင်မှုကြားကာလများအတွင်း Python ၏ ကမ္ဘာလုံးဆိုင်ရာ စကားပြန်လော့ခ်ကို လွှတ်ပေးရန်ဖြစ်ပြီး Mooncake၊ KV cache စတိုးကို ပေးဆောင်သည့် လွှဲပြောင်းချည်မျှင်အား တွက်ချက်ခြင်းနှင့် အပြိုင်လုပ်ဆောင်နိုင်စေရန် ဖြစ်သည်။ နောက်ပိုင်းတွင် စွမ်းဆောင်ရည်ကွာဟမှုသည် လက်ခံမှုအဆင့်အတွင်း ကျဆင်းသွားသည်။
တတိယအပိုင်းသည် ထပ်ခါတလဲလဲ kernel tuning ကိုပြသသည်။ Memory အတွက် တွက်ချက်မှုကို ရောင်းဝယ်ဖောက်ကားသည့် ReplaySSM နည်းပညာကို မိတ်ဆက်ခြင်းဖြင့် KDA decode kernel ၏ လုပ်ဆောင်ချိန်ကို အစပိုင်းတွင် တိုးမြှင့်ခဲ့သည်။ အေးဂျင့်၏ခွဲဝေမှုကို ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းက kernel ၏လုပ်ဆောင်ချိန်ကို 9.6 ရာခိုင်နှုန်းလျှော့ချခဲ့သည်။ တွက်ချက်မှုမှာ အဓိကပြဿနာဖြစ်နေကြောင်း တုံ့ပြန်ချက်ရရှိပြီးနောက်၊ အေးဂျင့်သည် V အတိုင်းအတာတစ်လျှောက်တွင် ခင်းကျင်းထားသော မူရင်းအကောင်အထည်ဖော်မှုကို ရှာဖွေတွေ့ရှိခဲ့ပြီး ထပ်တူထပ်မျှ FP32 ပုံမှန်ပြုလုပ်ခြင်းနှင့် မလိုအပ်ဘဲ ထပ်ခါတလဲလဲပြုလုပ်ခြင်းတို့ကို ဖြစ်ပေါ်စေသည်။
The Stack Behind GLM-5.3-Flash
ပိုမိုကောင်းမွန်အောင်လုပ်ဆောင်မှုများသည် ပို့စ်တွင် Z.ai ဖော်ပြထားသည့် ပြင်းထန်သောဝန်ဆောင်မှုပေးသည့်ဗိသုကာတစ်ခု၏ထိပ်တွင် တည်ရှိသည်- လိုင်းရိုးအာရုံစူးစိုက်မှုအတွက် intra-node tensor parallelism နှင့် language model head၊ ReplaySSM compute-for-memory trade၊ W8A8 quantization၊ Encode-Prefill-Decode ခွဲထုတ်ထားသော ဗိသုကာပညာသည် သီးခြားအရင်းအမြစ်များပေါ်တွင် ဝန်ဆောင်မှုပေးသည့် အဆင့်များကို လုပ်ဆောင်သည်။
ကုမ္ပဏီသည် ထပ်ကာထပ်ကာ မိမိကိုယ်ကို ပိုမိုကောင်းမွန်အောင် လုပ်ဆောင်ခြင်းဆီသို့ ခြေလှမ်းတစ်ခုအနေဖြင့် အေးဂျင့်ကိုယ်တိုင်က ရှာဖွေတွေ့ရှိကာ အများစုကို တရားဝင်ကြောင်း ဘောင်ခတ်ထားပါသည်- ၎င်းတို့ကို လည်ပတ်ရန် ပိုမိုမြန်ဆန်၍ စျေးသက်သာစေသည့် AI စနစ်များ ပိုမိုကောင်းမွန်စေသည့် AI စနစ်များသည် နောက်တစ်ကြိမ် အေးဂျင့်မောင်းနှင်သည့် တိုးတက်မှုကို ပိုမိုတတ်နိုင်စေသည်။
##ဘာကြောင့်အရေးကြီးတာလဲ။
Inference cost သည် AI လုပ်ငန်း၏ အဆုံးအဖြတ်ပေးသော ဘောဂဗေဒတစ်ခုဖြစ်သည်။ တိုကင်တစ်ခုလျှင် စျေးနှုန်းသက်သာစွာဖြင့် ရှေ့တန်း-အတန်းအစား မော်ဒယ်များကို ဝန်ဆောင်မှုပေးနိုင်သော ဓာတ်ခွဲခန်းများသည် စျေးနှုန်းကြီးကြီးမားမားရနိုင်ပြီး၊ လုပ်ငန်းတစ်ခုလျှင် ထောင်ပေါင်းများစွာသော ဖုန်းခေါ်ဆိုမှုများ ပြုလုပ်သည့် အေးဂျင့်များကို ထောက်ပံ့ကြေးပေးပြီး အပိုဝင်ငွေဖြင့် ဝန်ဆောင်မှုပေးခြင်းမှ နောက်ထပ်လေ့ကျင့်ရေးများကို ရံပုံငွေပေးနိုင်ပါသည်။ Z.ai သည် မျက်နှာစာသုံးမျက်နှာစလုံးတွင် သိသိသာသာ ရန်လိုနေပြီး ယခုနှစ်အစောပိုင်းတွင် ကုမ္ပဏီ၏ကြားဖြတ်ဘဏ္ဍာရေးထုတ်ဖော်မှုများသည် ဆုံးရှုံးမှုများကျဉ်းမြောင်းလာသည်နှင့်အမျှ ဝင်ငွေသိသိသာသာတိုးလာကြောင်း ပြသခဲ့သည်။
ပို့စ်သည် ဓာတ်ခွဲခန်းဘက်ဆိုင်ရာ အင်ဂျင်နီယာရှိရာသို့ ဦးတည်နေသည့် အချက်လည်းဖြစ်သည်။ မော်ဒယ်များသည် သုံးစွဲသူများ၏ တောင်းဆိုချက်များကို ကိုင်တွယ်စဉ် လူသားစွမ်းဆောင်ရည် အင်ဂျင်နီယာများသည် kernels နှင့် schedulers များကို ချိန်ညှိပေးသည့် သမားရိုးကျ လုပ်အားခွဲဝေမှုကို Z.ai တွင် အစားထိုးခြင်း၊ မော်ဒယ်ပြောင်းလဲမှုများ အဆိုပြုခြင်း၊ စျေးပေါသော စမ်းသပ်မှုများက ၎င်းတို့အား တရားဝင်ကြောင်း အတည်ပြုပြီး နောက်တစ်ကြိမ် ကြိုးစားမှုကို ညွှန်ကြားသည့် ကွင်းဆက်တစ်ခုဖြင့် အစားထိုးပါသည်။
အပြည့်အဝ ကိုယ်ပိုင်အုပ်ချုပ်ခွင့်ရ ကိုယ်ပိုင်တိုးတက်မှုအတွက် တောင်းဆိုချက်များကို ဂရုတစိုက်ဖတ်သင့်သည်။ လူသားအင်ဂျင်နီယာများသည် စမ်းသပ်မှုအခြေအနေများကို သတ်မှတ်ခြင်း၊ လက်ခံမှုစံနှုန်းများသတ်မှတ်ခြင်းနှင့် အေးဂျင့်အတွင်းလုပ်ဆောင်နေသော တုံ့ပြန်ချက်ပတ်ဝန်းကျင်များကို တည်ဆောက်ခြင်းတို့ဖြစ်ကြောင်း ပို့စ်ကိုယ်တိုင်က ရှင်းလင်းစေသည်။ ကုမ္ပဏီမှဖော်ပြသည့်အရာသည် ကောင်းစွာထည့်သွင်းထားသော ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ထားသော စက်ဝိုင်းတစ်ခု၏ အလိုအလျောက်လုပ်ဆောင်ခြင်းဖြစ်ပြီး ကြီးကြပ်မထားသောစနစ်ကိုယ်တိုင် ပြန်လည်ဒီဇိုင်းထုတ်ခြင်းမဟုတ်ပါ။
ဒါတောင် ဦးတည်ချက်က ရှင်းပါတယ်။ လာမည့်နှစ်အနည်းငယ်အတွင်း AI ၏စီးပွားရေးကို ဉာဏ်ရည်အသက်သာဆုံးပေးဆောင်နိုင်သူမှ ဆုံးဖြတ်ပါက၊ ၎င်းတို့၏ကိုယ်ပိုင်အခြေခံအဆောက်အဦများကို အကောင်းဆုံးဖြစ်အောင် သင်ကြားပေးသော ဓာတ်ခွဲခန်းများသည် အရှိန်အဟုန်ကို သတ်မှတ်ပေးမည်ဖြစ်ပြီး Z.ai သည် ၎င်းတို့ထဲမှတစ်ခုဖြစ်ရန် ရည်ရွယ်ထားကြောင်း စက်မှုလုပ်ငန်းအား သိရှိစေလိုပါသည်။
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
