Amazon သည် ၎င်း၏ Trainium မိသားစု AI ချစ်ပ်များအတွက် အဖွင့်အရင်းအမြစ်ဖြစ်သော PyTorch နောက်ခံ TorchNeuron ကို ကြေညာခဲ့ပြီး စက်သင်ယူမှုလုပ်ငန်းခွင်အတွက် စိတ်ကြိုက်ဆီလီကွန်အသုံးပြုခြင်းအတွက် အကြီးမားဆုံး လက်တွေ့ကျသော အတားအဆီးများကို ဖယ်ရှားပေးသည့် လှုပ်ရှားမှုတစ်ခုဖြစ်သည်။ အောက်တိုဘာလ 20 ရက်နေ့တွင် PyTorch ညီလာခံမတိုင်မီထုတ်ဝေသော PyTorch ဘလော့ဂ်တွင်တရားဝင်ပို့စ်တစ်ခုအရ developer များသည် ယခုအခါတွင် လက်ရှိ PyTorch မော်ဒယ်ကုဒ်ကို Trainium ပေါ်တွင် တစ်ကြောင်းတည်းပြောင်းလဲမှုဖြင့် လုပ်ဆောင်နိုင်ပြီဖြစ်ပြီး၊ မူပိုင်ခွင့်တူရိယာဆိုင်ရာ လုပ်ဆောင်ချက်များကို ပြန်လည်ရေးသားခြင်းထက် ၎င်းတို့၏ လုပ်ဆောင်ချက်များကို ပြန်လည်ရေးသားနိုင်ပြီဖြစ်သည်။

Nvidia ၏ အကြမ်းခံသော ချစ်ပ်စွမ်းဆောင်ရည်မဟုတ်ဘဲ ဆော့ဖ်ဝဲရေးဆွဲသူများအား ၎င်း၏ GPU များနှင့် ချိတ်ဆက်ပေးသည့် CUDA ဆော့ဖ်ဝဲလ်ဂေဟစနစ်သည် Nvidia ၏ အကြမ်းဆုံးအားသာချက်အဖြစ် ကာလကြာရှည်စွာဖော်ပြခဲ့သော လေ့လာဆန်းစစ်သူများမှ ဖော်ပြထားသည့်အရာကို ပစ်မှတ်ထားသောကြောင့် ကြေညာချက်သည် ချက်ချင်းအာရုံစူးစိုက်မှုရရှိခဲ့သည်။ ၎င်း၏ AI ချစ်ပ်များသည် AI တွင် ရေပန်းအစားဆုံး ဖွံ့ဖြိုးတိုးတက်မှုဆိုင်ရာ မူဘောင်များနှင့် အလုပ်လုပ်မည်ဟု Amazon မှ ပြောကြားခဲ့ပြီး Reuters မှ TechCrunch မှ Nvidia တွင် ကုမ္ပဏီ၏အကြီးမားဆုံးရိုက်ချက်အဖြစ် TorchNeuron ဟုခေါ်တွင်ခဲ့သည်။ အရှိန်မြှင့်စက် စျေးကွက် အပြောင်းအလဲကို ပိုမိုကျယ်ပြန့်စွာ ရှုမြင်နိုင်ရန်၊ ကျွန်ုပ်တို့၏ လုပ်ဆောင်နေသော AI ဟာ့ဒ်ဝဲသတင်း လွှမ်းခြုံမှု သည် ဤတိုးတက်မှုများကို ဖြန့်ကျက်လိုက်သည်နှင့် ခြေရာခံပါသည်။

TorchNeuron သည် အမှန်တကယ် ပြောင်းလဲနေသည်

TorchNeuron ၏ အဓိကကတိသည် ရိုးရှင်းပါသည်။ PyTorch ဘလော့ဂ်တွင် ထုတ်ဝေခဲ့သည့် ဥပမာတွင်၊ ရှိပြီးသား လေ့ကျင့်ရေးကွင်းသည် `.to('neuron')` ဖြင့် မော်ဒယ်ကို စက်ပစ္စည်းအသစ်သို့ ရွှေ့ရုံမှလွဲ၍ ဘာမျှမလုပ်ဆောင်ဘဲ Trainium တွင် အလုပ်လုပ်ပါသည်။ `torch.accelerator`၊ PyTorch ၏ အကြံပြုထားသော စက်ပစ္စည်း-ဘာသာမဲ့ API ကို ဆန့်ကျင်ရေးသားထားသော ကုဒ်သည် ပြုပြင်မွမ်းမံထားသည့် ပို့စ်အတိုင်း လုပ်ဆောင်သည်။ စုစည်းထားသော အလုပ်တာဝန်များအတွက်၊ ဆော့ဖ်ဝဲအင်ဂျင်နီယာများသည် ပုံသေနောက်ခံကို `torch.compiler.set_default_backend("neuron")` ဖြင့် တစ်ကြိမ်သတ်မှတ်ပြီး နောက်ထပ်ပြောင်းလဲမှုမရှိဘဲ `model.compile()` ကို ခေါ်ဆိုပါ။

ဘောင်အောက်တွင် TorchNeuron သည် စိတ်ကြိုက် hardware backends အတွက် PyTorch ၏တရားဝင် extension point ဖြစ်သော Trainium ကို မှတ်ပုံတင်ထားပြီး၊ ဆိုလိုသည်မှာ chip သည် framework တွင်ထည့်သွင်းထားသော appendage မဟုတ်ဘဲ standard PyTorch device တစ်ခုအဖြစ် ပြုမူသည်။ AWS သည် ပေါင်းစည်းခြင်းကို လုပ်ဆောင်မှုမုဒ်များစွာကို လွှမ်းခြုံထားသည်ဟု ဖော်ပြသည်-

  • သုတေသနနှင့် အမှားရှာပြင်ခြင်းအတွက် စိတ်အားထက်သန်စွာ ကွပ်မျက်ခြင်း၊ စမ်းသပ်မှု "လိုက်လျောညီထွေရှိသော စိတ်အားထက်သန်မှုမုဒ်" ဖြင့် ပစ်လွှတ်မှုကို လျှော့ချပေးသည်။
  • torch.compile သည် ထုတ်လုပ်မှုစွမ်းဆောင်ရည်အတွက်၊ Neuron compiler မှ အကောင်းဆုံးလုပ်ဆောင်ပေးသည့် ဂရပ်များအဖြစ် မော်ဒယ်များကို ဖမ်းယူခြင်း၊ FlexAttention အတွက် မူရင်းပံ့ပိုးမှုဖြင့်
စိတ်ကြိုက် အဆင့်နိမ့် kernels လိုအပ်သော သုတေသီများအတွက် - Neuron Kernel Interface (NKI)

ကျောထောက်နောက်ခံသည် Trainium2 နှင့် ပိုသစ်သော Trainium3 ချစ်ပ်များပေါ်တွင် အလုပ်လုပ်သည်ဟု ကြေငြာချက်အရ သိရသည်။

Nvidia ၏ Software Moat တွင် တိုက်ရိုက်တိုက်ခိုက်မှု

Nvidia ၏ AI ကွန်ပြူတာအပေါ် ချုပ်ကိုင်ထားမှုသည် ပိုမိုမြန်ဆန်သော ဟာ့ဒ်ဝဲပေါ်တွင်သာ ရပ်တည်နေပါသည်။ ကုမ္ပဏီ၏ဆယ်စုနှစ်နှစ်ခုသက်တမ်းရှိ ဆော့ဖ်ဝဲလ်ပလပ်ဖောင်းဖြစ်သည့် CUDA သည် AI သုတေသနကုဒ်အများစုကို ရေးသား၊ ချိန်ညှိကာ အသုံးပြုနိုင်သည့်နေရာဖြစ်ပြီး AMD ၏ Instinct လိုင်းမှ Google ၏ TPUs နှင့် Amazon ၏ Trainium အထိ စိန်ခေါ်သူချစ်ပ်တိုင်းသည် ၎င်းကိုထားခဲ့ရန် developer များထံတောင်းဆိုသည့်ကုန်ကျစရိတ်နှင့် ရင်ဆိုင်နေရသည်။ GeekWire၊ Benzinga နှင့် GuruFocus တို့တွင် TorchNeuron လွှင့်တင်မှု၏ လွှမ်းခြုံမှုမှာ အဆိုပါကျုံးကို တိုက်ခိုက်မှုတစ်ခုအဖြစ် ကြေညာချက်ကို တစ်ပုံစံတည်း ဘောင်ခတ်ထားသည်။

Amazon သည် developer များကို PyTorch မှ ဆွဲထုတ်ရန် မကြိုးစားပါ။ ယင်းအစား၊ ၎င်းသည် Trainium ကို PyTorch သို့ ယူဆောင်လာသောကြောင့် မူဘောင်၏ကြီးမားသောအသုံးပြုသူအခြေခံသည် အလေ့အထမပြောင်းလဲဘဲ ချစ်ပ်ကို လက်ခံနိုင်သည်။ PyTorch ဘလော့ဂ်ပို့စ်တွင် မူဘောင်ကိုထိန်းသိမ်းထားသည့် Meta မှ ထောက်ခံချက်ပါရှိသည်- "AWS Trainium အတွက် မူလပံ့ပိုးမှုသည် ထိုရွေးချယ်မှုကို ချဲ့ထွင်စေပြီး သုတေသီများနှင့် အင်ဂျင်နီယာများအား ၎င်းတို့သိပြီးသား API များကို စိတ်အားထက်သန်စွာ အကောင်အထည်ဖော်ခြင်းနှင့် ဖြန့်ဝေခြင်း APIs များကို အသုံးပြု၍ စမ်းသပ်ခြင်းနှင့် ထပ်လောင်းခြင်းများ ပြုလုပ်နိုင်စေသည်" ဟု Meta ရှိ PyTorch Engineering ၏ ဒါရိုက်တာ Jana van Greunen က ပို့စ်တွင် ပြောကြားခဲ့သည်။

၎င်းဘောင်သည် AWS ၏ cloud လုပ်ငန်းအတွက် အရေးကြီးသည်။ Trainium instances များကို လေ့ကျင့်ရေးနှင့် ကောက်ချက်ချရန်အတွက် Nvidia GPU များအတွက် ကုန်ကျစရိတ်သက်သာသော အစားထိုးတစ်ခုအဖြစ် ဈေးကွက်တင်ထားပြီး ချစ်ပ်များသည် marquee AI သုံးစွဲသူများကို ဆွဲဆောင်ထားပြီးဖြစ်သည်။ ချစ်ပ်များကို PyTorch ၏ဇာတိခံစားရအောင်ပြုလုပ်ခြင်းသည် ပိုမိုကျယ်ပြန့်သောမွေးစားခြင်းကိုနှေးကွေးစေသည့်ကန့်ကွက်ချက်ကို တိုက်ရိုက်ဖြေရှင်းသည်- ကြိုးပမ်းအားထုတ်မှု။

နည်းပညာနယ်ပယ်၊ Notebooks မှ Cluster-Scale Training အထိ

PyTorch ဘလော့ဂ်တွင် ဖော်ပြထားသော စွမ်းရည်များသည် Amazon သည် ဝါသနာရှင် လက်တွေ့စမ်းသပ်မှုများကို ကျော်လွန်ရန် ရည်မှန်းထားကြောင်း အကြံပြုထားသည်။ TorchNeuron သည် စာသား၊ ဘက်စုံ၊ နှင့် အမြင်-ဘာသာစကား မော်ဒယ်များအပြင် ရုပ်ပုံနှင့် ဗီဒီယို ထုတ်လုပ်မှု၊ ပြည်နယ် အာကာသ မော်ဒယ်များနှင့် ကမ္ဘာ့ မော်ဒယ်များကို BF16၊ FP32၊ နှင့် FP16 တိကျမှုတို့ဖြင့် ဖုံးအုပ်ထားသည်။ TorchAO နှင့် FP8 ပံ့ပိုးမှုတို့သည် နောက်ထွက်ရှိမှုတွင် ယေဘုယျရရှိနိုင်မှုမတိုင်မီ သီးသန့် beta တွင်ဖြစ်သည်။

ဖြန့်ဝေထားသော လေ့ကျင့်မှု၊ တစ်ခုတည်း-GPU ကုဒ်ကို အစုလိုက်-စကေးလည်ပတ်မှုများအဖြစ် ပြောင်းလဲပေးသည့် စည်းကမ်းသည် စံ PyTorch APIs — DDP, FSDP2, SimpleFSDP, tensor and pipeline parallelism, and ZeRO-style sharding, DTensor နှင့် DeviceMesh တို့နှင့်အတူ ဘက်စုံလုပ်ငန်းစဉ်အုပ်စုများအတွက် ပံ့ပိုးပေးပါသည်။ တိုက်ရိုက်ထုတ်လွှင့်မှုများနှင့် ဖြစ်ရပ်များသည် PyTorch ၏ အတွေးအမြင်များကို Trainium ၏ ဟာ့ဒ်ဝဲတန်းစီများပေါ်တွင် မြေပုံညွှန်းဖော်ပြထားသည်။

ကောက်ချက်ချရန်အတွက်၊ Amazon ၏ Neuron stacks များသည် တူညီသောအခြေခံအုတ်မြစ်ပေါ်တွင်တည်ဆောက်သည်- vLLM Neuron သည် ကြီးမားသောဘာသာစကားမော်ဒယ်များကို ဆောင်ရွက်ပေးသည်၊၊ vLLM Omni Neuron သည် ရုပ်ပုံနှင့်ဗီဒီယိုမျိုးဆက်အတွက် ပျံ့နှံ့မှုပုံစံများကို လုပ်ဆောင်ပေးပါသည်။ Neuron Kernel Interface သည် သုတေသီများအား စိတ်အားထက်သန်မှုနှင့် စုစည်းလုပ်ဆောင်မှုနှစ်ခုလုံးအတွက် စိတ်ကြိုက်အော်ပရေတာများကို ရေးသားခွင့်ပေးပြီး AWS သည် ပင်မခေတ်ရေစီးကြောင်း LLM နှင့် ဘက်စုံသုံးအခြေအနေများအတွက် FlashAttention နှင့် MoE ပေါင်းစပ်တွက်ချက်မှုများကို ဖုံးအုပ်ထားသော ပွင့်လင်းသောအရင်းအမြစ် NKI-lib ၏ Trainium-optimized kernels အစုံဖြစ်သည်။

Performance tooling လည်း ပါဝင်ပါတယ်။ Neuron Explorer သည် မူဘောင်မှ ဟာ့ဒ်ဝဲသို့ လည်ပတ်လုပ်ဆောင်မှုကို ခြေရာခံရန် စံ `torch.profiler` ကို တိုးချဲ့ပြီး ဖြစ်ရပ်တိုင်းကို ၎င်း၏ အရင်းအမြစ်လိုင်းသို့ ပြန်လည်ချိတ်ဆက်ကာ ပို့စ်မှတ်စုများကို အလိုအလျောက် ပိတ်ဆို့မှုများကို ခွဲခြမ်းစိတ်ဖြာရန်အတွက် အေးဂျင့်များက စားသုံးနိုင်သည့် ပါတေးပုံစံမက်ထရစ်များကို ထုတ်ယူနိုင်သည်။

ရရှိနိုင်မှုနှင့် နောက်ဆက်တွဲဖြစ်လာမည့်အရာ

TorchNeuron သည် Hugging Face Transformers v5 နှင့် လိုက်ဖက်ညီမှုရှိသော ဘလော့ပို့စ်တစ်ခုအရ အောက်တိုဘာလ 20 ရက်နေ့တွင် PyTorch Conference North America တွင် ၎င်း၏ open-source လွှင့်တင်မှုအတွက် သတ်မှတ်ထားသည်။ AWS သည် Trainium သည် cloud-scale AI လေ့ကျင့်မှုနှင့် အနုမာနအတွက် အခြေခံမှ ဒီဇိုင်းထုတ်ထားသော ချစ်ပ်အစုစုအဖြစ် ဖော်ပြသည်။

မဟာဗျူဟာမြောက် အကြောင်းအရာသည် အဓိက cloud ဝန်ဆောင်မှုပေးသူတိုင်းသည် Nvidia accelerators များ၏ အကြီးဆုံးဝယ်သူဖြစ်ပြီး ပြိုင်ဖက်ဖြစ်မည့် ဈေးကွက်တစ်ခုဖြစ်သည်။ Microsoft၊ Google နှင့် Meta တို့သည် စိတ်ကြိုက်ဆီလီကွန်များကို တီထွင်ကြပြီး Huawei အပါအဝင် တရုတ်ကုမ္ပဏီများသည် CUDA ၏ဆွဲငင်အားမှလွတ်မြောက်ရန် ၎င်းတို့၏ကိုယ်ပိုင်ဆော့ဖ်ဝဲလ်အစုအဝေးများကို တည်ဆောက်နေကြသည်။ PyTorch အတွင်းရှိ developer များအား ရွှေ့ပြောင်းခိုင်းခြင်းထက် ၎င်းတို့အား ရွှေ့ပြောင်းရန် တောင်းဆိုခြင်းဖြင့်၊ Amazon သည် ထိုပြိုင်ပွဲသို့ အနှောက်အယှက်အနည်းဆုံး လမ်းကြောင်းကို ရွေးချယ်ခဲ့သည် — နှင့် developer အတွေ့အကြုံများရှိနေပါက Nvidia hardware မှ အမှန်တကယ် လေ့ကျင့်ရေးအလုပ်များကို ရွှေ့ရန် ဖြစ်နိုင်ခြေအရှိဆုံးတစ်ခုမှာ။

TorchNeuron သည် CUDA ၏ အားသာချက်ကို စစ်မှန်စွာ တိုက်ဖျက်ခြင်း ရှိ၊ မရှိ စကေးနှင့် လက်တွေ့ကမ္ဘာ မော်ဒယ်များ၏ ရှည်လျားသော အမြီးပေါ်တွင်မူတည်မည် ဖြစ်သော်လည်း၊ ပစ်လွှတ်သည့် ပစ္စည်းများ၏ မေးခွန်းများသည် အဖြေမရှိပါ။ သို့သော် PyTorch developer အများစုသည် Trainium—ပြန်လည်ရေးသားခြင်း——အား ကြိုးစားခြင်းမှ တားဆီးထားသည့် အတားအဆီးကို ယခုအခါ ကုဒ်တစ်ကြောင်းတည်းသို့ လျှော့ချလိုက်ပါပြီ။

---

AI ၏ရှေ့တွင်နေရန်

နောက်ဆုံးပေါ် AI သတင်းများ၊ ခွဲခြမ်းစိတ်ဖြာမှုနှင့် အောင်မြင်မှုများ—အားလုံးကို တစ်နေရာတည်းတွင် ရယူပါ။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →