Nvidia GB300 ဟာ့ဒ်ဝဲရှိ အဆုံးမှ အဆုံး 4-Bit လေ့ကျင့်ရေး တွေးခေါ်စက်များ အသေးစိတ်

OpenAI နည်းပညာအရာရှိဟောင်း Mira Murati တည်ထောင်ခဲ့သော Thinking Machines Lab သည် Nvidia ၏နောက်ဆုံးပေါ်ဒေတာစင်တာဟာ့ဒ်ဝဲတွင် ကြီးမားသောအမြန်နှုန်းနှင့် မှတ်ဉာဏ်ကို ချွေတာနိုင်စေမည့် နည်းပညာဆိုင်ရာ အသေးစိတ်ရှင်းလင်းချက်ကို ထုတ်ပြန်ခဲ့သည်။

"End-to-End 4-Bit Training" ခေါင်းစဉ်တပ်ထားသော ဘလော့ဂ်ပို့စ်သည် နိုဝင်ဘာလ ၁၃ ရက်နေ့တွင် ကုမ္ပဏီ၏ဝဘ်ဆိုဒ်တွင် လွှင့်တင်ထားပြီး၊ တိကျမှုနည်းပါးသော လေ့ကျင့်မှုနောက်ကွယ်မှ ဂဏန်းအပေးအယူများကို ဖြတ်သန်းကာ ၎င်း၏ Inkling 2 Small မော်ဒယ်ကို လေ့ကျင့်နေစဉ်တွင် ၎င်းတို့ကို အဖွဲ့စီမံခန့်ခွဲပုံအကြောင်း ဖော်ပြထားပါသည်။ နောက်ဆုံးပေါ် AI တိုးတက်မှုများကို လိုက်လျှောက်သည့် စာဖတ်သူများအတွက်၊ ပို့စ်သည် ရှေ့တန်းစကေးလေ့ကျင့်မှုတစ်ခုအတွက် အမှန်တကယ်ကုန်ကျစရိတ်မည်မျှရှိသည်ကို ဆုံးဖြတ်ပေးသည့် အင်ဂျင်နီယာဆိုင်ရာ ဆုံးဖြတ်ချက်များကို ရှားရှားပါးပါး အများသူငါကြည့်ရှုကြည့်ရှုပေးပါသည်။

အဘယ်ကြောင့်နည်းနည်နည်းသည် ပိုမိုမြန်ဆန်သောလေ့ကျင့်မှုကို ဆိုလိုသနည်း။

ကြီးမားသောဘာသာစကားပုံစံကို လေ့ကျင့်သင်ကြားရာတွင် များပြားလှသော ကိန်းဂဏာန်းများကို တွက်ချက်ခြင်းနှင့် သိမ်းဆည်းခြင်းတို့ ပါဝင်ပါသည်။ တန်ဖိုးတစ်ခုစီအတွက် ဘစ်နည်းနည်းသုံးပြီး မှတ်ဉာဏ်အသုံးပြုမှုကို လျှော့ချပေးပြီး GPU များသည် ဂဏန်းသင်္ချာကို ပိုမိုမြန်ဆန်စွာ လုပ်ဆောင်နိုင်စေပါသည်။ ကုန်ကျစရိတ်သည် တိကျမှုဖြစ်သည်- အနည်းငယ်သော bits များသည် ကိုယ်စားပြုနိုင်သော ဂဏန်းများနည်းသောကြောင့် ဆိုလိုသည်မှာ တန်ဖိုးများကို ပိုမို၍ ပြင်းထန်စွာ ဝိုင်းထားရပါမည်။

ကုမ္ပဏီသည် ပြဿနာကို ရိုးရှင်းသော ဥပမာတစ်ခုဖြင့် သရုပ်ဖော်သည်။ ဖော်မတ်တစ်ခုသည် နံပါတ် 3 နှင့် 4 တို့ကိုသာ ကိုယ်စားပြုနိုင်လျှင် 3.2 ကို သိမ်းဆည်းခြင်းသည် 3 သို့ လှည့်ပတ်ရန် လိုအပ်ပြီး quantization error 0.2 ကို မိတ်ဆက်ရန် လိုအပ်သည်။ အလှည့်ကျအမှားတစ်ခုသည် အသေးအဖွဲဖြစ်သော်လည်း လေ့ကျင့်နေစဉ်တွင် အဆိုပါအမှားများသည် အလွှာများနှင့် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ခြင်းအဆင့်များတစ်လျှောက်တွင် စုပုံနေပြီး ၎င်းတို့သည် သင်ယူမှုလုပ်ငန်းစဉ်ကို အနှောင့်အယှက်ဖြစ်စေနိုင်သည်။

"ဒါက တိကျမှုနည်းတဲ့ လေ့ကျင့်ရေးရဲ့ အဓိကစိန်ခေါ်မှုပဲ၊ သင်ယူမှုကို အနှောင့်အယှက်ဖြစ်စေတဲ့ အမှားတွေကို မဖော်ပြဘဲ ပိုမြန်တဲ့ဂဏန်းသင်္ချာကနေ ဘယ်လိုအကျိုးကျေးဇူးတွေ ရနိုင်မလဲ။" ကုမ္ပဏီက ပို့စ်တွင် ရေးထားသည်။

ပုံစံသုံးမျိုး၊ လေ့ကျင့်မှုတစ်ခု လုပ်ဆောင်ခြင်း။

တစ်ခုတည်းသော တိကျမှုအဆင့်သို့ ကတိပြုမည့်အစား၊ Thinking Machines သည် လေ့ကျင့်မှုအဆင့်အမျိုးမျိုးတွင် ဂဏန်းဖော်မတ်သုံးခုကို အသုံးပြုသည်- BF16၊ MXFP8 နှင့် NVFP4။ ဖော်မတ်တစ်ခုစီတွင် ပုံသေတိကျမှုရှိသော်လည်း ၎င်း၏အမြန်နှုန်းသည် ၎င်းကိုအသုံးပြုနေသည့် ဟာ့ဒ်ဝဲပေါ်တွင်မူတည်သည်။

ကုမ္ပဏီသည် Nvidia ၏ Grace Blackwell Ultra ပလပ်ဖောင်း၊ GB300 ကို NVFP4 တွင် matrix ပွားများမှုကို အရှိန်မြှင့်ရန် အထူးဒီဇိုင်းထုတ်ထားသည့် GB300 ကို လေ့ကျင့်ပေးပါသည်။ ပို့စ်အရ NVFP4 သည် GB300 စနစ်များတွင် 6 ဆပိုမိုမြန်ဆန်စွာလည်ပတ်နေစဉ် BF16 ထက် 3.6 ဆပိုနည်းသောတန်ဖိုးများကိုသိမ်းဆည်းထားသည်။ ကုန်ကြမ်းအကြမ်းဖျင်းအားဖြင့်၊ ကုမ္ပဏီသည် NVFP4 တွင် 15 PFLOPS ခန့်ရှိပြီး GB300 စွမ်းဆောင်ရည်ကို MXFP8 တွင် 5 PFLOPS နှင့် BF16 တွင် 2.5 PFLOPS တို့ကို စာရင်းပြုစုထားသည်။

ဖမ်းစားနိုင်သည်မှာ NVFP4 ၏ ပြင်းထန်သော ဖိသိပ်မှုသည် ပိုမိုကျယ်ပြန့်သော ဖော်မတ်များထက် အဆပေါင်းများစွာ ပိုမိုများပြားသော ကိန်းဂဏန်းအမှားအယွင်းကို မိတ်ဆက်ပေးသည်။ လေ့ကျင့်ရေးအဆင့်အချို့တွင် ထိုအမှားကို လက်ခံနိုင်သော်လည်း အခြားအဆင့်များတွင် လက်ခံနိုင်စရာမရှိသောကြောင့် ကုမ္ပဏီသည် အဆင့်တစ်ခုစီကို သီးခြားစီဆက်ဆံသည်။

ကွဲပြားခြားနားသောအဆင့်များ၊ ကွဲပြားခြားနားသောစည်းမျဉ်းများ

ဘလော့ဂ်ပို့စ်သည် လေ့ကျင့်ရေးကို အဆင့်လေးဆင့်အဖြစ် ပိုင်းခြားထားသည် — ကြိုတင်လေ့ကျင့်ခြင်း၏ ရှေ့နှင့်နောက်၊ အားဖြည့်သင်ယူမှုနမူနာနှင့် RL သင်တန်းဆရာ — နှင့် အမှားအယွင်းအနည်းဆုံးဖြစ်အောင်၊ ဘက်လိုက်မှုနည်းပါးစေရန်၊ အရှိန်တိုးမြှင့်ခြင်းနှင့် မှတ်ဉာဏ်အသုံးပြုမှုကို လျှော့ချခြင်းအကြား ကွဲပြားသောဦးစားပေးမှုတစ်ခုစီကို သတ်မှတ်ပေးသည်။

ပမာဏမြင့်မားသောအဆင့်များတွင် မြန်နှုန်းသည် အရေးအကြီးဆုံးဖြစ်သည်- တိုကင်များ ထရီလီယံပေါင်းများစွာကျော်သော ကြိုတင်လေ့ကျင့်ခြင်းနှင့် RL စံနမူနာပြုလုပ်ခြင်းတို့သည် ပမာဏများစွာကို ထုတ်ပေးသည်။ သို့သော် နောက်ပြန်ဖြတ်သန်းမှုများသည် အထူးကိစ္စရပ်ဖြစ်သည်။ ကျပန်းဖြန့်ဝေမှုဆိုင်ရာ အမှားအယွင်းများ၏ အကျိုးသက်ရောက်မှုကို လျှော့ချပေးသည့် အသုတ်တစ်ခုတွင် တိုကင်များစွာကို ပျမ်းမျှအားဖြင့် နောက်ပြန်လှည့်သွားကြောင်း ရှင်းပြသည် — သို့သော် ၎င်းတို့သည် အရေအတွက်အလိုက်ဘက်လိုက်မှုအပေါ် အလွန်အထိခိုက်မခံကြောင်း၊ တန်ဖိုးများသည် ဦးတည်ချက်တစ်ခုသို့ တသမတ်တည်းပတ်နေသည့်အခါတွင် ဖြစ်ပေါ်သည့် စနစ်ကျသော ပျံ့လွင့်မှုဖြစ်သည်။ ကျပန်းဆူညံသံများနှင့်မတူဘဲ၊ ထိုဘက်လိုက်မှုသည် အလွှာများ၊ နမူနာများနှင့် လေ့ကျင့်ရေးအဆင့်များကို ပေါင်းစပ်နိုင်သည်။

Apache 2.0 လိုင်စင်အောက်တွင် ယခုလအစောပိုင်းက ထုတ်ပြန်ခဲ့သော ကျွမ်းကျင်ပညာရှင်မော်ဒယ် Inkling 2 Small ကို လေ့ကျင့်နေစဉ်တွင် အဆိုပါ အပေးအယူများကို စီမံခန့်ခွဲခဲ့သည်ဟု ကုမ္ပဏီက ပြောကြားခဲ့သည်။ run ၏ အစိတ်အပိုင်းတိုင်းသည် 4 bits ဖြင့် ပြေးသည်ဟု ပို့စ်တွင် မဖော်ပြထားပါ။ ယင်းအစား၊ အစိတ်အပိုင်းတစ်ခုစီ၏ တိကျမှုကို ပုံသေအားဖြင့် အမွေဆက်ခံမည့်အစား တမင်ရွေးချယ်ထားသည့် အဆုံးမှအဆုံးဗျူဟာကို ဖော်ပြသည်။

ဘာကြောင့် တိကျမှုနည်းတဲ့ သင်တန်းက အရေးကြီးတာလဲ။

ဒီနေရာမှာ စီးပွားရေးက ရှင်းပါတယ်။ Compute သည် Frontier model ဖွံ့ဖြိုးတိုးတက်မှုတွင် အဓိကကုန်ကျစရိတ်ဖြစ်ပြီး ဟာ့ဒ်ဝဲရောင်းချသူများသည် ချစ်ပ်မျိုးဆက်သစ်တစ်ခုစီအတွက် တိကျမှုနည်းပါးသော အရှိန်နှုန်းကို ပေါင်းထည့်ရန် ပြိုင်ဆိုင်နေကြသည်။ Nvidia သည် ၎င်း၏ Blackwell Ultra ပလပ်ဖောင်းတွင် NVFP4 ပံ့ပိုးမှုကို ခေါင်းစီးအင်္ဂါရပ်အဖြစ် နေရာချထားပြီး AMD၊ Google နှင့် အခြားပြိုင်ဘက် accelerators များသည် ၎င်းတို့၏ကိုယ်ပိုင် တိကျမှုလျှော့ချထားသော ဖော်မတ်များကို ကြော်ငြာကြသည်။

သုတေသနဓာတ်ခွဲခန်းများသည် လေ့ကျင့်ရေးပိုက်လိုင်းအား 4-ဘစ်ဂဏန်းသင်္ချာသို့ လုံခြုံစွာတွန်းပို့နိုင်ပါက၊ တူညီသော ဟာ့ဒ်ဝဲဘတ်ဂျက်သည် ပိုမိုစမ်းသပ်မှုများ၊ တိုကင်များ သို့မဟုတ် ပိုကြီးသော မော်ဒယ်များကို ဝယ်ယူပါသည်။ ၎င်းသည် နောက်ဆုံးပေါ် အရှိန်မြှင့်စက်များ ရှားပါးပြီး ဈေးကြီးသည့် စျေးကွက်တွင် အဓိပ္ပါယ်ရှိသော အားသာချက်တစ်ခုဖြစ်သည်။ ၎င်းသည် စက်မှုလုပ်ငန်း၏ ပိုမိုကျယ်ပြန့်သော တွန်းအားပေးမှုဖြစ်သည့် quantization-aware inference နှင့် speculative decoding ကဲ့သို့သော ထိရောက်မှုရှိသော နည်းပညာများဆီသို့ ပေါင်းစပ်ထားသောကြောင့် နှစ်ခုစလုံးသည် fixed hardware မှ စွမ်းဆောင်ရည်ကို ပိုမိုညှစ်ထုတ်ပေးပါသည်။

ပို့စ်သည် သုတေသနအသိုက်အဝန်းရှိရာသို့ ဦးတည်နေသည့် အချက်လည်းဖြစ်သည်။ တိကျမှုနည်းသော လေ့ကျင့်ရေးသည် ကောက်ချက်မချနိုင်သော အရာများအတွက် အန္တရာယ်များလွန်းသည်ဟု ရှည်လျားစွာ ရှုမြင်ခဲ့သည်၊ အကြောင်းမှာ လှည့်ခြင်းအမှားများသည် သင်ယူမှုအား ယိုယွင်းစေသည်ဟု ယူဆသောကြောင့် ဖြစ်သည်။ အဆင့်ဆင့်သော ဂရုတစိုက် ခွဲခြမ်းစိတ်ဖြာမှု — ထုတ်ဝေသည့် Thinking Machines ကဲ့သို့ — သည် ယင်းယူဆချက်ကို မည်သို့စမ်းသပ်ပြီး ဖြစ်နိုင်လျှင် မှောက်သွားနိုင်သည်။

Blog Post မှ Open Weights အထိ

ထုတ်ဖော်ချက်ကို ထင်ရှားစေသောအရာမှာ သီအိုရီသက်သက်မဟုတ်ပေ။ ကုမ္ပဏီသည် အဆိုပါနည်းပညာကို အမှန်တကယ်တင်ပို့ရောင်းချသည့် မော်ဒယ်နှင့် တိုက်ရိုက်ချိတ်ဆက်ထားသည်။ Inkling 2 Small ကို နိုဝင်ဘာလအစောပိုင်းတွင် ဒေါင်းလုဒ်လုပ်နိုင်သော အလေးများဖြင့် ထုတ်ဝေခဲ့ပြီး ပို့စ်အသစ်တွင် ၎င်း၏လေ့ကျင့်ရေးနောက်ကွယ်ရှိ ကိန်းဂဏန်းနည်းဗျူဟာကို ရှင်းပြထားသည်။ မော်ဒယ်ကို ဒေါင်းလုဒ်လုပ်သော ပညာရှင်များသည် ကုမ္ပဏီမှ ဖော်ပြထားသော တိကျမှုနည်းသော နည်းစနစ်၏ လက်ရာမြောက်သည့် ပစ္စည်းတစ်ခုကို ရယူကြသည်။

Thinking Machines သည် ၎င်း၏ မော်ဒယ်ထုတ်လွှတ်မှုနှင့်အတူ နည်းပညာဆိုင်ရာ ဘလော့ဂ်ပို့စ်များကို ထုတ်ဝေသည့် နယ်ခြားစကေးဓာတ်ခွဲခန်းအတွက် ပုံမှန်မဟုတ်ဘဲ ဖွင့်ထားသည်။ ထိုပွင့်လင်းမြင်သာမှုသည် ပြင်ပသုတေသီများအား ရှားပါးသောအရာတစ်ခုကို ပေးသည်- ခေတ်မီလေ့ကျင့်ရေးအပြေးတစ်ခုသည် ရောထွေးတိကျသောဂဏန်းသင်္ချာ၏ ရှုပ်ထွေးသောဂဏန်းအမှန်များကို ကိုင်တွယ်ပုံကို မှတ်တမ်းတင်ထားသော၊ မျိုးပွားနိုင်သောအကောင့်တစ်ခုဖြစ်သည်။

ပိုမိုကျယ်ပြန့်သောစက်မှုလုပ်ငန်းအတွက်၊ သတင်းစကားမှာ 4-bit လေ့ကျင့်မှုသည် စူးစမ်းလိုစိတ်မှ ထုတ်လုပ်ရေးနည်းပညာသို့ ပြောင်းရွှေ့သွားပြီဖြစ်သည်။ ဓာတ်ခွဲခန်းများသည် အလားတူဗျူဟာများကို လက်ခံကျင့်သုံးလာသည်နှင့်အမျှ သီအိုရီပိုင်းဆိုင်ရာ ဟာ့ဒ်ဝဲ၏ အထွတ်အထိပ် စွမ်းဆောင်ရည်နှင့် နားလည်သဘောပေါက်ထားသော လေ့ကျင့်သင်ကြားမှုကြားရှိ ကွာဟချက်သည် ကျဉ်းသွားလိမ့်မည် — နှင့် လေ့ကျင့်သင်ကြားနိုင်သော မော်ဒယ်များ၏ ကုန်ကျစရိတ်သည် ဆက်လက်ကျဆင်းသွားမည်ဖြစ်သည်။

AI ထက်သာလွန်နေပါစေ။

Frontier မော်ဒယ်များ၏ နောက်ကွယ်မှ နည်းပညာများသည် အပတ်စဉ် တိုးတက်နေပါသည်။ AI Buzz Wire ကို လိုက်၍ နယ်ပယ်ကိုပုံဖော်သည့် သုတေသနပြုချက်ဆိုင်ရာ ရှင်းလင်းပြတ်သားသော အရင်းအမြစ်အစီရင်ခံချက်အတွက်။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →