လူနှစ်ယောက် ဓာတ်ခွဲခန်း Linum သည် $21K ဖြင့် Text-to-Image Model ကို လေ့ကျင့်ပေးကာ Apache 2.0 အောက်တွင် အလေးချိန်များကို ထုတ်ပေးသည်

လူနှစ်ဦးပါ သုတေသနဓာတ်ခွဲခန်းတစ်ခုသည် အကြမ်းဖျင်းအားဖြင့် $21,000 ဖြင့် text-to-image မော်ဒယ်ကို လေ့ကျင့်သင်ကြားပေးပြီး ၎င်းကို အပြည့်အဝခွင့်ပြုချက်ဖြင့် ထုတ်ပေးခဲ့သည်။ ပူးတွဲစီအီးအိုများဖြစ်သည့် Sahil Chopra နှင့် Manu Chopra တို့မှ တည်ထောင်ထားသော Linum သည် နည်းပညာဆိုင်ရာ နယ်ပယ်မှတ်စုများပို့စ်တွင် ရလဒ်များကို နိုဝင်ဘာလ 4 ရက်နေ့တွင် ထုတ်ပြန်ခဲ့ပြီး 2-billion-parameter Pixel-JiT (P-JiT) model သည် သန်း 660 နမူနာများကို သက်သေပြနိုင်သော အယူအဆတစ်ခုအဖြစ် ကြီးမားသောဗီဒီယိုမော်ဒယ်များဆီသို့ လေ့ကျင့်ပေးထားသော မော်ဒယ်တစ်ခုဖြစ်သည်။ မော်ဒယ်ကုဒ်နှင့် အလေးချိန် နှစ်ခုစလုံးကို ကန့်သတ်ချက်မရှိဘဲ စီးပွားဖြစ်အသုံးပြုမှုကို ခွင့်ပြုသည့် Apache 2.0 အောက်တွင် ရရှိနိုင်ပါသည်။ ကျွန်ုပ်တို့၏ AI သုတေသနလွှမ်းခြုံမှု တွင် ဖော်ပြထားသော ခေါင်းစဉ်တစ်ခုဖြစ်သည့် Frontier-Quality AI သုတေသနအတွက် အမှန်တကယ်ကုန်ကျစရိတ် မည်မျှကုန်ကျသည်နှင့်ပတ်သက်၍ အချေအတင်ဆွေးနွေးမှုတွင် ထင်ရှားသောအချက်တစ်ချက်ဖြစ်သည်။

ဘာကြောင့် VAE ကိုကျော်သွားတာလဲ။

ခေတ်မီသော ရုပ်ပုံမျိုးဆက် ပိုက်လိုင်းအများစုသည် သီးခြား ကွဲပြားသော အော်တိုအင်တာကုဒ်ဒါ (VAE) ကို အသုံးပြု၍ ပုံများကို ချုံ့ပေးသည်- VAE သည် ပုံတစ်ပုံကို ကျစ်လစ်သိပ်သည်းစွာ ငုပ်လျှိုးနေသော နေရာအဖြစ် ညှစ်ထုတ်ပြီး ပျံ့နှံ့မှုပုံစံသည် ထို compressed space အတွင်းတွင် ထုတ်ပေးပါသည်။ Linum ၏အဖွဲ့သည် ဤအလုပ်သမားခွဲဝေမှုသည် မျက်နှာကျက်ကို ထိသွားသည်ဟု စောဒကတက်သည်။ ၎င်းတို့၏ရေးသားချက်တွင် VAE များသည် "သူတို့ရရှိနိုင်သော compression ပမာဏအပေါ် empirical မျက်နှာကျက်ရှိပုံရသည်" ဟူသော compression ကိုတွန်းအားပေးခြင်းသည် ရိုးရာဗိသုကာလက်ရာအတွက် ကြီးမားသောခွဲစိတ်မှုလိုအပ်ပြီး VAE ၏ပြန်လည်တည်ဆောက်မှုကို ပိုမိုကောင်းမွန်လာခြင်းသည် downstream diffusion model ၏မျိုးဆက်များကို အမှန်တကယ်ဆိုးရွားသွားစေနိုင်ကြောင်း သတိပြုမိပါသည်။

၎င်းတို့၏အဖြေမှာ VAE ကို လုံးဝဖယ်ရှားရန်ဖြစ်သည်။ P-JiT သည် pixel-space မော်ဒယ်တစ်ခု — diffusion model သည် pixels များပေါ်တွင် တိုက်ရိုက်လုပ်ဆောင်ပြီး ၎င်း၏ကိုယ်ပိုင်အသုံးပြုမှုကိစ္စအတွက်၊ ဖိသိပ်ခြင်းနှင့် ထုတ်လုပ်ခြင်းအတွက် တစ်ချိန်တည်းတွင် ငုပ်လျှိုးနေသောရည်ရွယ်ချက်ဖြင့် တည်ဆောက်ထားသော အရာတစ်ခုကို လေ့လာသည်။ အလောင်းအစားတစ်ခုသည် အထူးပြုကွန်ရက်နှစ်ခုကြားတွင် လက်လွှတ်ခြင်းထက် တစ်ခုတည်းသော လေ့ကျင့်သင်ကြားမှုအဆုံးမှ အဆုံးအထိ တူညီသော ကွန်ပြူတာမှ ပိုမိုညှစ်ထုတ်နိုင်ခြင်းကြောင့် ဖြစ်သည်။

နည်းပညာပိုင်းဆိုင်ရာ ပေးဆပ်မှု

ဗိသုကာပညာ၏အမည်သည် ၎င်း၏ပိရမစ်ပုံသဏ္ဍာန် သင်္ကေတပြုခြင်းကို ရည်ညွှန်းသည်။ လက်ရှိမော်ဒယ်အများစု — Linum သည် FLUX-2 ကို ပုံမှန်ဥပမာအဖြစ် ကိုးကားပြီး — 16×16 တိုကင်လျှော့ချမှုကို အသုံးပြုသည့်အခါ P-JiT သည် 256×256 ပုံတစ်ပုံအတွက် ယခင်ကလိုအပ်သော တိုကင်ဘတ်ဂျက်ရှိ 512×512 ရုပ်ပုံကို ကိုယ်စားပြုသည့် 32×32 တိုကင်လျှော့ချခြင်း ကို ရရှိသည်။ ၎င်းသည် အာရုံစူးစိုက်မှုဆိုင်ရာပြတင်းပေါက်ရှိ **4× လျှော့ချမှုကို ဘာသာပြန်ဆိုထားပြီး အာရုံစူးစိုက်မှုမှာ O(n²) ပိတ်ဆို့မှုကို အတိအကျဖြစ်စေပြီး မျိုးဆက်သစ်ဗီဒီယိုအတွက် လေ့ကျင့်မှုနှင့် အနုမာနနှစ်ခုစလုံးကို စျေးကြီးစေသည်။

အဖွဲ့၏ကိုယ်ပိုင်တိုင်းတာချက်များအရ၊ P-JiT သည် Linum v2 ထက် 11× နည်းသောနမူနာ ဖြင့် ပေါင်းစည်းထားပြီး၊ ပိုမိုစံမြန်သော Wan VAE နှင့် DiT ပျံ့နှံ့မှု စာရွက်ပေါ်တွင် တည်ဆောက်ထားသည့် ဓာတ်ခွဲခန်း၏ယခင်မော်ဒယ်ပုံစံ။ $21K ပြေးခြင်း— လေ့ကျင့်ရေးနမူနာ သန်း 660 သည် ၎င်း၏အရွယ်အစားအရ အံ့အားသင့်စရာကောင်းလောက်အောင် အရည်အချင်းရှိသောအဖွဲ့ဟု ဖော်ပြထားသော မော်ဒယ်ကို ထုတ်လုပ်ခဲ့သည်။

$21,000 ဘာတွေဝယ်လဲ။

ထုတ်ဝေမှုတွင် ၎င်းတို့၏ အချက်ပြချက်များပါရှိသည့် နမူနာပုံ ၂၄၉ ပုံ၊ လူ (၅၇)၊ တိရိစ္ဆာန်များ (၄၂)၊ အဆောက်အဦ (၂၀)၊ ထုတ်ကုန် (၄၃)၊ ရှုမျှော်ခင်း (၁၉) နှင့် စတိုင်ကျသော တင်ဆက်မှုများ (၆၈) တို့ပါဝင်သည်။ အဖွဲ့သည် နေရာချထားခြင်းနှင့်ပတ်သက်၍ ပွင့်ပွင့်လင်းလင်းပြောထားသည်- ၎င်းသည် "စမ်းသပ်ထုတ်လွှတ်ခြင်း" နှင့် ၎င်းတို့၏ တကယ့်ပစ်မှတ်ဖြစ်သည့် ဗီဒီယိုမော်ဒယ်ဆီသို့ "ခြေရာလှမ်း" ဖြစ်သည်။ နမူနာများသည် ဗိသုကာပညာသည် တည်ငြိမ်စွာလေ့ကျင့်ပေးပြီး သမားရိုးကျလေ့ကျင့်ရေးဘတ်ဂျက်၏ အပိုင်းတစ်ပိုင်းဖြင့် ပေါင်းစပ်ထားသောပုံများကို ထုတ်လုပ်ကြောင်းပြသသည်၊ ၎င်းသည် အရည်အသွေးရှိ ရှေ့တန်းရုပ်ပုံမော်ဒယ်များနှင့် မကိုက်ညီကြောင်း ပြသသည်။

အဖွဲ့သည် ရလဒ်များနှင့်အတူ ရှုံးနိမ့်မှုပုံစံများကို မည်သို့မှတ်တမ်းတင်ထားပုံကိုလည်း မှတ်သားဖွယ်ရာ ရေးသားဖော်ပြထားသည်။ ၎င်းတို့သည် ၎င်းတို့ကို မြှုပ်နှံမည့်အစား ၎င်းတို့၏ မော်ဒယ်၏ ကန့်သတ်ချက်များကို ကွင်းဆင်းမှတ်စုများ ပို့စ်တွင် တိုက်ရိုက် စာရင်းကောက်ယူကာ၊ ဂုဏ်သတင်းသည် စျေးကွက်ရှာဖွေရေး ဘတ်ဂျက်များထက် ယုံကြည်စိတ်ချရမှုအပေါ် မူတည်သည့် သေးငယ်သော ဓာတ်ခွဲခန်းများကြားတွင် ပို၍သာမန်အလေ့အကျင့်တစ်ခု ဖြစ်သည်။ ပို့စ်သည် P-JiT ဗိသုကာကို ဦးစွာဖော်ပြခဲ့သည့် အစောပိုင်းအစီအမံတွင် တည်ဆောက်ထားသည့် အဖွဲ့၏ "Road to Linum v3" စီးရီးတွင် စတုတ္ထမြောက် ဝင်ခွင့်ဖြစ်သည် - အလုပ်မလုပ်သော ဒီဇိုင်းဆိုင်ရာ ဆုံးဖြတ်ချက်တစ်ခုစီကို ပြင်ပသုတေသီများ အပါအဝင် ပြင်ပသုတေသီများ လိုက်နာနိုင်သည့် နည်းပညာမှတ်တမ်းတစ်ခု ဖြစ်သည်။

ကုန်ကျစရိတ်ကိန်းဂဏန်းဆိုင်ရာ အကြောင်းအရာအတွက်- Linum ၏ $21K သည် 2B-ပါရာမီတာမော်ဒယ်၏ နမူနာလေ့ကျင့်ရေးအပြေး သန်း 660 အတွက် ကွန်ပျူတာကို ဖုံးအုပ်ထားသည်။ ၎င်းသည် ဖျက်သိမ်းလိုက်သော လုပ်ဆောင်မှုများစွာအတွက် ဒေတာရယူမှု၊ ဝန်ထမ်းခန့်အပ်မှုနှင့် လက်တွေ့စမ်းသပ်မှုများကို လွှမ်းမိုးသည့် နယ်ခြားဓာတ်ခွဲခန်းဘတ်ဂျက်များနှင့် တိုက်ရိုက်နှိုင်းယှဉ်၍မရပါ။ ၎င်းကို တည်ထောင်သည့်အရာမှာ အောင်မြင်သော၊ ပွင့်ပွင့်လင်းလင်း မှတ်တမ်းတင်ထားသော လေ့ကျင့်မှုတစ်ခု၏ မဖြစ်စလောက် ကုန်ကျစရိတ်ဖြစ်သည်— နံပါတ်တစ် သုတေသီများနှင့် တက္ကသိုလ်ဓာတ်ခွဲခန်းများသည် ယခုအခါ လက်တွေ့ကျကျ စီစဉ်နိုင်ပြီဖြစ်သည်။

Linum ၏ ဖော်ပြထားသော ရည်မှန်းချက်သည် ကာတွန်းအား ဝင်ရောက်ကြည့်ရှုခွင့်ကို ဒီမိုကရေစီစနစ်ဖြစ်စေသော ဖန်တီးမှုကိရိယာများ ဖြစ်သည်။ ယနေ့ခေတ်ဖန်တီးမှုဗီဒီယိုကို အဖွဲ့၏ဝေဖန်ချက်မှာ ၎င်းသည် နှေးကွေးပြီး ဈေးကြီးပြီး ကောင်းမွန်သောထိန်းချုပ်မှုကင်းမဲ့ခြင်းဖြစ်သည်— ၎င်းတို့အငြင်းပွားမှုပေါင်းစပ်ခြင်းဖြင့် ဖန်တီးမှုလက်ရာသည် မူရင်းအတိုင်း ထပ်ခါတလဲလဲဖြစ်နေသောကြောင့် ၎င်းကို "ဇာတ်လမ်းပြောခြင်းအတွက် ထိရောက်စွာအသုံးမဝင်ပါ" ဟု ပြန်ဆိုထားခြင်းဖြစ်သည်။ စျေးသက်သာသော လေ့ကျင့်မှုနှင့် ပိုမိုမြန်ဆန်သော ကောက်ချက်ချမှုသည် တည်းဖြတ်ခြင်းလုပ်ငန်းအသွားအလာနှင့် အမှန်တကယ်ကိုက်ညီသော ဗီဒီယိုထုတ်လုပ်ခြင်းအတွက် ကြိုတင်သတ်မှတ်ချက်ဖြစ်သည်။

ဓာတ်ခွဲခန်းငယ်များ၊ ကြီးမားသောအချက်ပြမှုများ

ဤနေရာတွင် ပြသထားသော စီးပွားရေးသည် startup တစ်ခုထက်ပို၍ အရေးကြီးပါသည်။ တစ်ချိန်က နယ်ပယ်၏နယ်နိမိတ်ကို သတ်မှတ်ခဲ့သည့်—ဒေါ်လာသန်းပေါင်းများစွာဖြင့် တိုင်းတာသည့်—ယခုအခါတွင် ပုံမှန်အကြီးတန်းအင်ဂျင်နီယာတစ်ဦး၏ နှစ်စဉ်လစာထက် ပိုနည်းသောအသုံးစရိတ် နှစ်ခုရှိသော အဖွဲ့များဖြင့် ကျဉ်းမြောင်းသော ဒိုမိန်းများတွင် လေ့ကျင့်ပေးလျက်ရှိသည်။ ဤစကေးတွင် အဖွင့်အလေးများ ထုတ်ဝေမှုများသည် အမှီအခိုကင်းသော သုတေသီများအား အဖွဲ့အစည်းဆိုင်ရာ ပံ့ပိုးမှုမပါဘဲ ထုတ်လုပ်မှုအဆင့် ဗိသုကာလက်ရာများကို စစ်ဆေးခြင်း၊ ချိန်ညှိခြင်းနှင့် ထုတ်လုပ်မှုအဆင့် ဗိသုကာများကို တည်ဆောက်နိုင်စေပါသည်။

သတိပေးချက်များသည် မျှတမှုရှိသည်- 2B စာသားမှပုံတစ်ပုံမော်ဒယ်သည် ရုပ်ပုံအရည်အသွေး၏ရှေ့တန်းမှအလှမ်းဝေးပြီး Linum ၏ပေါင်းစပ်မှုတောင်းဆိုချက်များကို လွတ်လပ်စွာစံသတ်မှတ်ထားခြင်းထက် ကိုယ်တိုင်အစီရင်ခံခြင်းဖြစ်သည်။ သို့သော် Apache 2.0 အောက်တွင် ကုဒ်နှင့် အလေးများ အပြည့်အဝ ပြန်လည်ထုတ်လုပ်နိုင်သည်— ဆိုလိုသည်မှာ သံသယရှိသူတိုင်းသည် တောင်းဆိုချက်များကို တိုက်ရိုက်တိုင်းတာနိုင်သည်။ မည်သည့်စံနှုန်းတစ်ခုမျှထက်မက၊ ၎င်းသည် ဤကဲ့သို့သော အသေးစားဓာတ်ခွဲခန်းထုတ်လွှတ်မှုများကို ကြည့်ရှုရကျိုးနပ်စေသည်- အထောက်အထားကို ဒေါင်းလုဒ်လုပ်နိုင်သည်။

AI ထက်သာလွန်နေပါစေ။

တစ်ချိန်က ကော်ပိုရိတ်ဓာတ်ခွဲခန်းတစ်ခု လိုအပ်သည့် သုတေသနသည် ယခုအခါ အကြွေးဝယ်ကတ်တစ်ခုနှင့် အံကိုက်ဖြစ်နေပြီဖြစ်သည်။ ကျွန်ုပ်တို့၏ AI သုတေသနသတင်း တွင် အောင်မြင်မှုတိုင်းကို ခြေရာခံပါ။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →