Aleph Alpha သည် ဂျာမန်နှင့် အင်္ဂလိပ်တို့အတွက် တည်ဆောက်ထားသော 78.1B-Parameter Open-Weight AI မော်ဒယ် Kolibri ကို ဖြန့်ချိခဲ့သည်

ဂျာမန် AI ကုမ္မဏီ Aleph Alpha သည် ဂျာမန်နှင့် အင်္ဂလိပ်တို့အတွက် အခြေခံမှ တည်ဆောက်ထားသော အလေးသာသော ပေါင်းစပ်မှု-of-Experts ဘာသာစကားမော်ဒယ် Kolibri ကို ထုတ်ပြန်ခဲ့သည်။ မော်ဒယ်တွင် စုစုပေါင်း ကန့်သတ်ဘောင်ပေါင်း 78.1 ဘီလီယံကို ထုပ်ပိုးထားသော်လည်း တိုကင်တစ်ခုလျှင် ၎င်းတို့ထဲမှ 3.46 ဘီလီယံခန့်—ခန့်—နှင့် Hugging Face ရှိ ခွင့်ပြုထားသော Apache 2.0 လိုင်စင်အောက်တွင် သင်္ဘောများ တင်ပို့သည်။ ၎င်းသည် အကြောင်းအရာဆိုင်ရာ တိုကင်ပေါင်း 1,048,576 အထိ လက်ခံပြီး အသုံးပြုသူများအား တောင်းဆိုမှုတစ်ခုအတွက် ကျိုးကြောင်းဆင်ခြင်အားထုတ်မှု သတ်မှတ်နိုင်စေပါသည်။ Open-weights ဂေဟစနစ်ကို ခြေရာခံသည့် စာဖတ်သူများအတွက်၊ ဤအရာသည် ကျွန်ုပ်တို့၏ နောက်ဆုံးပေါ် AI ဖွံ့ဖြိုးတိုးတက်မှုများ နှင့် တွဲလျက်တည်ရှိပါသည်။

အဆိုပါထုတ်ပြန်ချက်သည် Aleph Alpha သည် ၎င်း၏စျေးကွက်ကိုမြင်သည့်နေရာဖြစ်သည်- အများပြည်သူစီမံခန့်ခွဲမှု၊ စက်မှုလုပ်ငန်းနှင့် အာကာသယာဉ်စသည့် စည်းမျဉ်းစည်းကမ်းကဏ္ဍများတွင် အချုပ်အခြာအာဏာ ဖြန့်ကျက်ချထားမှု၊ မော်ဒယ်ကို မည်သည့်နေရာတွင် လေ့ကျင့်ထားသည်၊ မည်သည့်ဒေတာနှင့် မည်သည့်ဥပဒေဘောင်အောက်တွင် ရှိသည်မဟုတ်သော်လည်း ၀ယ်လိုအားကို အတိအကျသိရှိနိုင်သည့် တမင်သက်သက် ထုတ်ပြန်ချက်ဖြစ်သည်။

တကယ်တော့ Kolibri ဆိုတာဘာလဲ

နည်းပညာဆိုင်ရာပစ္စည်းများတွင် Kolibri-1 ဟုရည်ညွှန်းသော Kolibri သည် Aleph Alpha မှဂျာမဏီရှိအသင်းများမှအဆုံးအထိတီထွင်ခဲ့သည်ဟုဆိုသောဘာသာစကားနှစ်ဘာသာဖြင့်အင်္ဂလိပ်-ဂျာမန် MoE ထရန်စဖော်မာတစ်ခုဖြစ်သည်။ ကုမ္ပဏီ၏ နည်းပညာဆိုင်ရာ သုတေသနအစီရင်ခံစာအရ၊ အဖွဲ့သည် အခြားဓာတ်ခွဲခန်း၏ စစ်ဆေးရေးဂိတ်မှ စတင်မည့်အစား ဒေတာ၊ ဗိသုကာပညာ၊ လေ့ကျင့်ရေးအခြေခံအဆောက်အအုံ၊ လေ့ကျင့်မှုအပြီးနှင့် အကဲဖြတ်ခြင်း- ပိုက်လိုင်းအပြည့်အစုံကို ထိန်းချုပ်ထားသည်။

ဂျာမနီနှင့် ဖင်လန်နိုင်ငံတို့တွင် ရှိသော အခြေခံအဆောက်အအုံဆိုင်ရာ လေ့ကျင့်သင်ကြားမှုကို လုပ်ဆောင်ခဲ့သည်။ ဒီဇိုင်းလုပ်ငန်းစဉ်သည် EU အထွေထွေရည်ရွယ်ချက် AI ကျင့်ထုံးဥပဒေ၊ EU AI အက်ဥပဒေနှင့် GDPR နှင့် Aleph Alpha တို့သည် အဆိုပါကုဒ်၏ လက်မှတ်ရေးထိုးမှုဖြင့် လိုက်နာမှုအား အတိအလင်း ပစ်မှတ်ထားသည်။ ကုမ္ပဏီ၏ ပြောကြားချက်အရ ၎င်း၏ ဒေတာပိုက်လိုင်းသည် လေ့ကျင့်ရေးမစမီ ကိုယ်ရေးကိုယ်တာအချက်အလက်များကို ပြန်လည်ပြင်ဆင်ပေးသည်၊၊ နိုင်ငံသားအချက်အလက်များကို တရားဝင်မဖော်ပြနိုင်သော သက်သေပြချက်ပုံစံများအဖြစ် တရားဝင်မကျွေးမွေးနိုင်သော အများသူငှာ ဝယ်ယူသူများအတွက် တိုက်ရိုက်ရည်ရွယ်သည့် အသေးစိတ်အချက်တစ်ချက်ဖြစ်သည်။

၎င်းသည် GPU တစ်ခုတည်းပေါ်တွင်အလုပ်လုပ်သည်။

ဖြန့်ကျက်နိုင်မှုသည် စိတ်ကူးယဉ်မှုမဟုတ်ဘဲ ဒီဇိုင်းကန့်သတ်ချက်တစ်ခုဖြစ်ကြောင်း ထင်ရှားသည်။ FP8 စစ်ဆေးရေးဂိတ်သည် အကြမ်းဖျင်းအားဖြင့် 78GB အလေးချိန်ရှိပြီး NVIDIA B200၊ B300 သို့မဟုတ် H200 — သို့မဟုတ် H100 SXM5 GPU နှစ်ခုပေါ်တွင် — သီးသန့် Kolibri ကျိုးကြောင်းဆင်ခြင်မှုနှင့် ကိရိယာခေါ်ဆိုမှုခွဲခြမ်းစိတ်ဖြာမှုဖြင့် vLLM မှတစ်ဆင့် ဆောင်ရွက်ခဲ့သည်။ 78-billion-ပါရာမီတာမော်ဒယ်အတွက်၊ ၎င်းသည် အနည်းငယ်မျှသာသော ဟာ့ဒ်ဝဲခြေရာတစ်ခုဖြစ်ပြီး ၎င်းသည် ကျဲပါးသော MoE ဒီဇိုင်း၏တိုက်ရိုက်ပေးချေမှုဖြစ်သည်- တိုကင်တစ်ခုလျှင် 3.46 ဘီလီယံပါရာမီတာများသာ တက်ကြွနေသဖြင့်၊ အနုစိတ်ကုန်ကျစရိတ်သည် စုစုပေါင်းထက် တက်ကြွသောကန့်သတ်ချက်အရေအတွက်ကို ခြေရာခံပါသည်။

ကျဲကျဲ ပညာရှင်များနှင့် စပ်ယှက်သည်။

ဘောင်အောက်တွင်၊ Kolibri သည် မော်ဒယ်အကျယ် 2,560 ဖြင့် ထရန်စဖော်မာတုံး 50 ကို စုထားသည်။ MoE အလွှာတိုင်းသည် sigmoid router ဖြင့် လမ်းကြောင်းပြောင်းကျွမ်းကျင်သူ ၃၈၄ ဦးအား အမှတ်ပေးကာ တိုကင်တစ်ခုစီကို ထိပ်တန်း 6 သို့ ပေးပို့ကာ ၎င်းတို့နှင့်အတူ မျှဝေထားသော ကျွမ်းကျင်သူ 1 ဦးကို အမြဲလုပ်ဆောင်သည်။ Router သည် လက်တစ်ဆုပ်စာ လမ်းကြောင်းများအားလုံးကို အထူးကျွမ်းကျင်သူများထံ မပြိုကျအောင် တားဆီးပေးသော အက္ခရာစဉ်-ဟင်းချိုအမည်များ — Exact Quantile Balancing နှင့် Load-Error Injection — ကျွမ်းကျင်ပိုင်ဝန်သည် နည်းစနစ်နှစ်ခုကို အသုံးပြု၍ ဟန်ချက်ညီပါသည်။

ဗိသုကာပညာက ပိုစိတ်ဝင်စားဖို့ကောင်းတယ်။ Kolibri သည် စုံစမ်းမှုခေါင်း 48 ခုနှင့် 4 KV ခေါင်းပေါင်း 48 ခုဖြင့် အုပ်စုဖွဲ့-မေးမြန်းမှုအာရုံကို အသုံးပြုသော်လည်း အလွှာများသည် တစ်ပုံစံတည်းမဟုတ်ပါ- ပဉ္စမအကွက်တိုင်းသည် နေရာချထားသောကုဒ်နံပါတ်မပါဘဲ အာရုံစူးစိုက်မှုကို အပြည့်အ၀အသုံးပြုပြီး အခြားဘလောက် 40 သည် RoPE ဖြင့် ရှေ့တိုကင် 512 ခုထက် လျှော-ပြတင်းပေါက်အာရုံကို အသုံးပြုပါသည်။ လက်တွေ့အကျိုးဆက်မှာ မှတ်ဉာဏ်ထိရောက်မှုဖြစ်သည် — လျှောပြတင်းပေါက်အလွှာများသည် ပုံသေအရွယ်အစား KV ကက်ရှ်ကို ကိုင်ဆောင်ထားသောကြောင့် အလွှာ 50 တွင် 10 သာ ဆက်စပ်အရှည်ဖြင့် ကြီးထွားလာခြင်းဖြစ်သည်။ ကိုက်ညီသောတွက်ချက်မှုတွင်၊ Aleph Alpha သည် ပေါင်းစပ်ဒီဇိုင်းသည် တူညီသောအာရုံစူးစိုက်မှုအပြည့်ရှိသောမော်ဒယ်ထက် လေးဆပိုရှည်သော sequence များကို ပံ့ပိုးပေးကြောင်း အစီရင်ခံသည်။ ထို့ကြောင့် ဤအရွယ်အစားရှိ မော်ဒယ်တစ်ခုသည် ထူးခြားဆန်းပြားသော အခြေခံအဆောက်အအုံများမပါဘဲ တစ်သန်း-တိုကင် ဆက်စပ်ဝင်းဒိုးကို တောင်းဆိုသည့်ပုံဖြစ်သည်။

ဂျာမန်အတွက် ဖန်တီးထားသော တိုကင်ဇာတစ်ခု

တိုကင်နံပါတ်များကို တိုးမြင့်စေပြီး ထိရောက်သော ကုန်ကျစရိတ်များကို အပိုင်းအစများအဖြစ် ရှည်လျားသော ပေါင်းစပ်စကားလုံးများကို အပိုင်းပိုင်းများအဖြစ် ပိုင်းခြားထားသော နယ်ခြား တိုကင်နီဆာများက ဂျာမန်ကို အတွေးအမြင်တစ်ခုအဖြစ် သတ်မှတ်သည်။ Aleph Alpha သည် ၎င်းကို BPE ကဲ့သို့ ပေါင်းစပ်ဖန်တီးပေးသော 128,000-တိုကင် ဝေါဟာရ UniBPE နှင့် တိုက်ရိုက်တိုက်ခိုက်ခဲ့သော်လည်း Unigram အရှုံးဖြင့် ပေါင်းစည်းမှုတစ်ခုစီကို အမှတ်ပေးပါသည်။

ကိန်းဂဏာန်းများ သည် ကိစ္စ ၊ ဂျာမန်စာသားတွင်၊ Kolibri ၏ tokenizer သည် တိုကင်တစ်ခုလျှင် 4.90 bytes ရှိပြီး GPT-5 tokenizer အတွက် 4.35 ဖြစ်သည် — ဆိုလိုသည်မှာ ဂျာမန်ဝဘ်စာသားတွင် တိုကင် 11.2 ရာခိုင်နှုန်း ပိုနည်းသည်။ အင်္ဂလိပ်ဘာသာတွင်၊ Kolibri သည် GPT-5 ၏ 4.67 နှင့် ဆန့်ကျင်သည့် တိုကင်တစ်ခုလျှင် 4.58 bytes ဖြင့် ရှေ့ထွက်နေသည်။ တိုကင်ဖြင့် ပေးဆောင်သည့် လုပ်ငန်းဖောက်သည်များအတွက်၊ ၎င်းသည် ဂျာမန်ဘာသာစကား အလုပ်တာဝန်တိုင်းအတွက် တိုက်ရိုက်လျှော့စျေးဖြစ်သည်။

နယ်ခြားမျဉ်းတွင် လေ့ကျင့်သင်ကြားခဲ့သည်။

Kolibri ၏နောက်ကွယ်မှလေ့ကျင့်ရေးသည်အလွန်အရေးကြီးသည်။ အကြိုလေ့ကျင့်မှုတွင် 768 NVIDIA B200 GPU များပေါ်တွင် တိုကင် 20 ထရီလီယံကို ဖုံးအုပ်ထားပြီး 3.44 ထရီလီယံ အလယ်အလတ်လေ့ကျင့်ရေးတိုကင်များ 65,536-တိုကင် sequence အရှည်။ ထို့နောက် ပိုက်လိုင်းသည် နောက်ဆုံးညွှန်ကြားချက်အတိုင်း ကျိုးကြောင်းဆီလျော်နိုင်သော စံနမူနာကို ထုတ်လုပ်ရန် ကြီးကြပ်မှု ဒဏ်ချက်နှင့် အားဖြည့်သင်ကြားမှု အဆင့်များမှတစ်ဆင့် ရွေ့လျားခဲ့သည်။ ကုမ္ပဏီသည် လုပ်ငန်းစဉ်နှင့်ပတ်သက်သည့် နည်းပညာဆိုင်ရာ သုတေသနအစီရင်ခံစာ၊ ဥရောပဓာတ်ခွဲခန်းတစ်ခုအတွက် ပုံမှန်မဟုတ်သော ထုတ်ဖော်မှုအဆင့်နှင့် စည်းမျဉ်းခံဖောက်သည်များနှင့် ယုံကြည်စိတ်ချမှုတည်ဆောက်ရန် ရှင်းရှင်းလင်းလင်း ရည်ရွယ်ထားသည့်တစ်ခုကို ထုတ်ပြန်ထားသည်။

ဥရောပရဲ့ AI တွန်းအားပေးမှုအတွက် ဘာကိုဆိုလိုတာလဲ။

Kolibri သည် အမေရိကန်နှင့် တရုတ်ဓာတ်ခွဲခန်းများမှ အလွတ်သဘော ထုတ်ဖော်ပြောဆိုမှုအား လွှမ်းမိုးထားပြီး ဥရောပအစိုးရများသည် ဒစ်ဂျစ်တယ်အချုပ်အခြာအာဏာနှင့် ပတ်သက်၍ ပိုမိုကျယ်ပြောလာခဲ့သည့် ဈေးကွက်တစ်ခုသို့ ဝင်ရောက်လာသည်။ Aleph Alpha ၏လောင်းကြေးမှာ ဝန်ကြီးဌာနများ၊ ကာကွယ်ရေးနှင့်ကပ်လျက်စက်မှုလုပ်ငန်း၊ အရေးပါသောအခြေခံအဆောက်အအုံများ—သည် ၎င်း၏ဒေတာကိုင်တွယ်မှု၊ လေ့ကျင့်မှုတည်နေရာနှင့် တရား၀င်အနေအထားအရ ဥရောပမော်ဒယ်အတွက် အခကြေးငွေပေးမည်ဟု Aleph Alpha ၏အလောင်းအစားဖြစ်သည်။

ထိုလောင်းကြေးငွေ ပေးချေခြင်းရှိမရှိ ထုတ်ဝေမှုတွင် မဖြေရသေးသော မေးခွန်းများပေါ်တွင် မူတည်သည်- Kolibri သည် စံအကဲဖြတ်မှုများတွင် Frontier open မော်ဒယ်များကို မည်ကဲ့သို့ စံနှုန်းများနှင့် ပတ်၀န်းကျင်တွင် ကိရိယာတန်ဆာပလာများ၏ ဂေဟစနစ် မည်မျှ လျင်မြန်စွာ ဖြစ်ပေါ်လာသည်။ ထုတ်ဝေမှုတွင် ချမှတ်ထားသည့်အရာမှာ စာရွက်စာတမ်းများနှင့်အတူ ကိုက်ညီရန် စာရွက်စာတမ်းများနှင့်အတူ ယခုအခါတွင် အီးယူတွင် အပြည့်အ၀၊ နယ်နိမိတ်ချင်းကပ်လျက် လေ့ကျင့်သင်ကြားနိုင်မှု စွမ်းရည်တစ်ခု ရှိနေပါသည်။ GDPR နှင့် AI အက်ဥပဒေတို့ဖြင့် ချည်နှောင်ထားသော အဖွဲ့အစည်းများအတွက်၊ အဆိုပါပေါင်းစပ်မှုသည် ဦးဆောင်သူစာရင်းဝင်ရာထူးများထက် ပိုအရေးကြီးပါသည်။

---

AI ၏ရှေ့တွင်နေရန်

နောက်ဆုံးပေါ် AI သတင်းများ၊ ခွဲခြမ်းစိတ်ဖြာမှုနှင့် အောင်မြင်မှုများ—အားလုံးကို တစ်နေရာတည်းတွင် ရယူပါ။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →