Artificial Intelligence တွင် အလျင်မြန်ဆုံး ကြီးထွားလာသော ကုန်ကျစရိတ်သည် ချစ်ပ်များ မဟုတ်ပေ — ၎င်းသည် ၎င်းတို့ကို ကျွေးမွေးသော လျှပ်စစ်ဖြစ်နိုင်သည်။ အောက်တိုဘာလ 12 ရက်နေ့တွင်၊ Michigan တက္ကသိုလ်မှ NVIDIA သည် ကမ္ဘာပေါ်တွင် ကြီးကြီးမားမား AI ကွန်ပျူတာကုမ္ပဏီဖြစ်သည့် NVIDIA သည် U-M စွမ်းအင်ချွေတာရေးကိရိယာနှစ်ခုကို Megatron-LM သို့ ထည့်သွင်းနည်းကို အကဲဖြတ်နေကြောင်း NVIDIA ၏ ကျယ်ကျယ်ပြန့်ပြန့်အသုံးပြုနေသည့် open-source platform ဖြစ်သော ဘာသာစကားမော်ဒယ်များကို လေ့ကျင့်ပေးနေသည်။ တက္ကသိုလ်၏အဆိုအရ ဆော့ဖ်ဝဲလ်သည် လေ့ကျင့်ရေးအမြန်နှုန်း သို့မဟုတ် မော်ဒယ်စွမ်းဆောင်ရည်ကို မထိခိုက်စေဘဲ AI လေ့ကျင့်ရန် လိုအပ်သော စွမ်းအင်ကို 50% အထိ ဖြတ်တောက်နိုင်သည်။
သတင်းသည် ဓာတ်ခွဲခန်းတစ်ခု၏ ထုတ်ပြန်ချက်မှတ်တမ်းထက် သာလွန်အရေးကြီးသည်။ Megatron-LM သည် အထူးကောင်းမွန်သော သုတေသန codebase မဟုတ်ပါ။ ကုမ္ပဏီများသည် ၎င်းကို တိုက်ရိုက် သို့မဟုတ် ၎င်းတို့၏ ကိုယ်ပိုင်သီးသန့်၊ စိတ်ကြိုက်လေ့ကျင့်ရေးပလပ်ဖောင်းများအတွက် အခြေခံအုတ်မြစ်အဖြစ် အသုံးပြုနိုင်ပြီး ၎င်းသည် NVIDIA ၏ အထင်ကရ Nemotron မော်ဒယ်များကို လေ့ကျင့်သင်ကြားပေးသည့် ပလပ်ဖောင်းဖြစ်ပြီး သုံးစွဲသူများသည် ၎င်းတို့၏ကိုယ်ပိုင် hardware တွင် ဒေါင်းလုဒ်လုပ်နိုင်ပါသည်။ U-M ကိရိယာများက ၎င်းအား Megatron-LM အဖြစ် ပြုလုပ်မည်ဆိုပါက ပညာရပ်ဆိုင်ရာ ဓာတ်ခွဲခန်းတစ်ခုတွင် တီထွင်ထားသော စွမ်းဆောင်ရည်မြှင့်တင်မှုများသည် ကမ္ဘာ့ AI လေ့ကျင့်မှု၏ ကြီးမားသော ဝေစုအဖြစ်သို့ ပျံ့နှံ့သွားမည်ဖြစ်သည်။ AI ၏နောက်ကွယ်ရှိ အခြေခံအဆောက်အဦပြိုင်ပွဲ၏ ဆက်လက်လွှမ်းခြုံမှုအတွက်၊ ကျွန်ုပ်တို့၏ပင်မစာမျက်နှာရှိ နောက်ဆုံးပေါ် AI တိုးတက်မှုများကို လိုက်နာပါ။
Kareus နှင့် Perseus အမှန်တကယ် ဘာလုပ်သလဲ။
ကိရိယာနှစ်ခုသည် ဖြန့်ဝေလေ့ကျင့်မှုတွင် မတူညီသော စွန့်ပစ်ပစ္စည်းများနှင့် ၎င်းတို့၏ စုဆောင်းငွေစုများကို တိုက်ခိုက်သည်။
Perseus- ပရိုဆက်ဆာအမြန်နှုန်းကို စီမံခန့်ခွဲခြင်း။
Perseus သည် over-provisioned compute လိပ်စာဖြစ်သည်။ ကြီးမားသော လေ့ကျင့်ရေးအပြေးတွင် ပရိုဆက်ဆာတိုင်းသည် အချိန်တိုင်းတွင် အသုံးဝင်သောအလုပ်များကို လုပ်ဆောင်ကြသည်မဟုတ်သော်လည်း ၎င်းတို့အားလုံးသည် စွမ်းအားကို ဆွဲထုတ်ကြသည်။ U-M ၏အဆိုအရ လေ့ကျင့်သင်ကြားမှုတစ်ခုစီတွင် ရရှိနိုင်သော အမှန်တကယ်အလုပ်နှင့်ကိုက်ညီစေရန် ပရိုဆက်ဆာအမြန်နှုန်းကို စီမံခန့်ခွဲခြင်းဖြင့် Perseus သည် AI လေ့ကျင့်ရန် လိုအပ်သောစွမ်းအင်ကို 30% အထိ ဖြတ်တောက်ပေးသည်။
Kareus- ကွန်ပျူတာနှင့် ဆက်သွယ်ရေးအတွက် စမတ်ကျသော အချိန်
Kareus သည် ပိုမိုသိမ်မွေ့သော ပြဿနာကို ပစ်မှတ်ထားသည်။ ခေတ်မီမော်ဒယ်များကို လေ့ကျင့်သင်ကြားရာတွင် ပရိုဆက်ဆာ ရာနှင့်ချီ၍ ထောင်ပေါင်းများစွာသော ပရိုဆက်ဆာများကို ပေါင်းစပ်ညှိနှိုင်းရန် လိုအပ်ပြီး တွက်ချက်မှုနှင့် chip-to-chip ဆက်သွယ်မှုကြားတွင် အလုပ်ပိုင်းကွဲသွားပါသည်။ Kareus သည် လေ့ကျင့်ရေး နှင့် ဆက်သွယ်ရေး လုပ်ငန်း များကြား အထိရောက်ဆုံး အချိန်နှင့် အရင်းအမြစ် ခွဲဝေမှု ကို ရှာဖွေ ခြင်းဖြင့် လေ့ကျင့်ရေး စွမ်းအင် ကို နောက်ထပ် 15% မှ 30% အထိ လျှော့ချ ပေးသည် — တစ်ခုစီကို အချိန်ဇယားဆွဲပြီး ဘာမှမလုပ်ဘဲ စောင့်ဆိုင်းနေ သည်။
တူညီသောလေ့ကျင့်မှုအမြန်နှုန်းနှင့် နောက်ဆုံးမော်ဒယ်စွမ်းဆောင်ရည်ကို ပေးဆောင်စဉ်တွင် အဆိုပါကိရိယာများသည် AI လေ့ကျင့်ရန်အသုံးပြုသည့် စွမ်းအင်တစ်ဝက်ခန့်ကို ကယ်တင်နိုင်သည်ဟု တက္ကသိုလ်က ဆိုသည်။ Kareus သည် ရွယ်တူချင်းပြန်လည်သုံးသပ်သည့်ရလဒ်တစ်ခုလည်းဖြစ်သည်- ကိရိယာကို ဇူလိုင်လတွင် USENIX Symposium on Operating Systems Design and Implementation (OSDI) တွင် ပြသခဲ့ပြီး၊ စနစ်သုတေသနအတွက် ထိပ်တန်းနေရာများထဲမှတစ်ခုဖြစ်သည်။
ဘာကြောင့် NVIDIA ရဲ့ စိတ်ဝင်စားမှုက တကယ့်ဇာတ်လမ်းဖြစ်တာလဲ။
Academic efficiency research သည် အများအားဖြင့် ထုတ်လုပ်မှုဆီသို့ ရှည်လျားသောလမ်းကို ရင်ဆိုင်နေရသည်။ ဆင်းသက်သည့်နေရာကြောင့် ဤတစ်ခုကွဲပြားနိုင်သည်။ ပါရဂူကျောင်းသားတစ်ဦးဖြစ်သော Ruofan Wu သည် ယခုနွေရာသီတွင် NVIDIA တွင် U-M ဆော့ဖ်ဝဲလ်အား အလုပ်သင်တစ်စိတ်တစ်ပိုင်းအဖြစ် Megatron-LM တွင် ပေါင်းစည်းခဲ့သည် — ဆိုလိုသည်မှာ ကိရိယာများသည် အဆိုပြုချက်တစ်ခုမဟုတ်သော်လည်း ယခုအခါ NVIDIA ၏လေ့ကျင့်ရေးစဥ်အတွင်းတွင် အလုပ်လုပ်သောကုဒ်ကို ဆိုလိုသည်မှာ ယခုအခါ တရားဝင်အကဲဖြတ်ခံနေရပါသည်။
"မော်ဒယ်တွေ ပိုကြီးလာပြီး မော်ဒယ်တွေကို လေ့ကျင့်ချင်တဲ့ လူတွေ ပိုများလာတာကြောင့် AI ဟာ စွမ်းအင် နည်းပါးတဲ့ လေ့ကျင့်မှု အမြန်နှုန်းနဲ့ စွမ်းဆောင်ရည်ကို တူညီစွာ ရရှိနိုင်ပါတယ်" ဟု U-M မှ ကွန်ပျူတာသိပ္ပံနှင့် အင်ဂျင်နီယာဆိုင်ရာ ပါရဂူကျောင်းသား Wu က တက္ကသိုလ်၏ ကြေငြာချက်တွင် ပြောကြားခဲ့သည်။ "ဆော့ဖ်ဝဲလ်နဲ့ ဟာ့ဒ်ဝဲအဆင့်မှာ AI စွမ်းအင်ကို အကောင်းဆုံးဖြစ်အောင် အသုံးချဖို့ အခွင့်အလမ်းတွေ အများကြီးရှိပါတယ်၊ အလုပ်သင်ရဲ့ အကျိုးအရှိဆုံး အစိတ်အပိုင်းတွေထဲက တစ်ခုက ကျွန်မရဲ့ သုတေသနကနေ ထုတ်လုပ်မှုစနစ်တွေဆီ အကြံဉာဏ်တွေ ယူဆောင်လာဖို့ အခွင့်အရေးပါပဲ" ဟု သူမက ထပ်လောင်း ပြောကြားခဲ့သည်။
ထိုစကားလုံး — ပါဝါကန့်သတ်ထားသော — သည် စက်မှုလုပ်ငန်း၏ စောင့်ကြည့်မှုအသစ်ဖြစ်သည်။ ပါရဂူကျောင်းသားများ Jeff Ma နှင့် Jae-Won Chung တို့ပါ၀င်သော U-M သုတေသနအဖွဲ့သည် တွဲဖက်ပါမောက္ခ Mosharaf Chowdhury နှင့်အတူ NVIDIA နှင့် ပေါင်းစပ်လုပ်ဆောင်နေသည်။ အဖွဲ့၏ဘောင်သွင်းမှုသည် ရိုးရှင်းပါသည်- ရည်မှန်းချက်မှာ AI သည် စွမ်းအင်နှင့် ကုန်ကျစရိတ်သက်သာရန်အတွက် ပိုမိုအသုံးဝင်သော အလုပ်များကို ရာနှင့်ချီသော ပရိုဆက်ဆာပေါင်း ထောင်ချီအထိ လေ့ကျင့်ညှိနှိုင်းရန် အထိရောက်ဆုံးနည်းလမ်းကို ရှာဖွေခြင်းဖြင့် ခွင့်ပြုရန်ဖြစ်သည်။
စွမ်းအင်သည် ယခုအခါ ပထမတန်းစား ကန့်သတ်ချက်တစ်ခုဖြစ်သည်။
Frontier Training ၏ အတိုင်းအတာသည် ရာခိုင်နှုန်းစုဆောင်းမှုများကို မဟာဗျူဟာမြောက် ကိန်းဂဏန်းများအဖြစ် ပြောင်းလဲပေးသည်။ ၎င်း၏ Muse Wonder မော်ဒယ်အသစ်များကို gigawatt အတိုင်းအတာ ဒေတာစင်တာအဖြစ် ဖော်ပြထားသည့် Prometheus တွင် လေ့ကျင့်သင်ကြားထားကြောင်း Meta က ယခုသီတင်းပတ်တွင် ပြောကြားခဲ့သည်။ လေ့ကျင့်ရေးကမ်ပိန်းတစ်ခုသည် ထိုစကေးတွင်လည်ပတ်သောအခါ၊ ရာခိုင်နှုန်းအဆင့် စွမ်းအင်လျှော့ချခြင်းသည် လှည့်ပတ်မှုအမှားမဟုတ်ပါ။ ၎င်းသည် ပါဝါဘတ်ဂျက်အတွင်း လေ့ကျင့်ရေးအပြေးကို အံဝင်ခွင်ကျဖြစ်စေရန် ကွာခြားချက်ဖြစ်သည်။
ဘောဂဗေဒသည် ရူပဗေဒကို လိုက်နာသည်။ စွမ်းအင်သည် AI ချဲ့ထွင်မှုအတွက် အထောက်အကူဖြစ်စေသော အရင်းအမြစ်များထဲမှ တစ်ခုဖြစ်လာသည်။ ရှိပြီးသား ဟာ့ဒ်ဝဲကို အသုံးပြု၍ လေ့ကျင့်ရေးအပြေး၏ လျှပ်စစ်မီတာခကို တစ်ဝက်ခွဲပေးသည့် ဆော့ဖ်ဝဲလ်သည် ကုမ္ပဏီတိုင်းအတွက် ၎င်း၏ကိုယ်ပိုင်ပုံစံများကို လေ့ကျင့်ပေးသည့် တွက်ချက်မှုကို ပြောင်းလဲပေးသည်၊ အထူးသဖြင့် စွမ်းအင်ကုန်ကျစရိတ်သည် ကန့်သတ်ချုပ်ချယ်ထားသော ကစားသမားငယ်များအတွက် ဖြစ်သည်။
၎င်းသည် AI နှင့်ပတ်သက်သော သဘာဝပတ်ဝန်းကျင်ဆိုင်ရာ ငြင်းခုံမှုများကိုလည်း ပြန်လည်ပုံဖော်ထားသည်။ အများသူငှာ ဆွေးနွေးမှုအများစုသည် chatbot မေးမြန်းမှုတိုင်းမှ သုံးစွဲသော စွမ်းအင်ကို အနုမာနဖြင့် အာရုံစိုက်ထားသည်။ သို့သော် လေ့ကျင့်ရေးသည် အကြီးမားဆုံးသော စွမ်းအင်တုံးတစ်ခုတည်းကို စုစည်းထားသည့်နေရာဖြစ်ပြီး၊ ၎င်းကို ထက်ဝက်အထိ ဖြတ်တောက်ပေးသည့် တူညီသောပြန်လည်သုံးသပ်သည့် ရောင်းချသူ-မတရားသောဆော့ဖ်ဝဲလ်ချဉ်းကပ်မှုသည် ဟာ့ဒ်ဝဲလမ်းပြမြေပုံထက် ရှားပါးသောအရာကို ပေးဆောင်သည်- နောက်ဒေတာစင်တာတည်ဆောက်မှုထက် လာမည့် open-source ထုတ်ဝေမှုနှင့်အတူ ရောက်ရှိလာနိုင်သည့် ထိရောက်မှု အကျိုးကျေးဇူးများ။
##ဘာဆက်ဖြစ်မလဲ။
NVIDIA သည် ၎င်း၏ open-source လေ့ကျင့်ရေးပလပ်ဖောင်းတွင် ဆော့ဖ်ဝဲကို မည်သို့ထည့်သွင်းရမည်ကို အကဲဖြတ်နေသည်ဟု တက္ကသိုလ်က ပြောသည်။ ၎င်းသည် Megatron-LM ဖြင့် တင်ပို့မည်ဆိုပါက၊ လုပ်ငန်းနယ်ပယ်နှင့် ပညာရပ်ဆိုင်ရာများတွင် မူဘောင်ကို မည်မျှကျယ်ကျယ်ပြန့်ပြန့်အသုံးပြုထားသောကြောင့် မွေးစားခြင်းကို လျင်မြန်စွာ ပျံ့နှံ့နိုင်သည်။ U-M အဖွဲ့၏ ပိုမိုကျယ်ပြန့်သော သုတေသနပရိုဂရမ်သည် ဆော့ဖ်ဝဲလ်နှင့် ဟာ့ဒ်ဝဲအစုအဝေးများတစ်လျှောက် စွမ်းအင်ချွေတာမှုကို ဆက်လက်ရှာဖွေနေသည်—လွန်ခဲ့သည့်နှစ်အနည်းငယ်က ထူးထူးခြားခြားဖြစ်ပုံရပြီး ယခုဂိမ်း၏ဗဟိုပုံပေါက်သည့် အစီအစဉ်တစ်ခုဖြစ်သည်။
