ဝဘ်အခြေခံအဆောက်အအုံကုမ္ပဏီ Cloudflare သည် ဝဘ်ဆိုက်ထုတ်ဝေသူများအား AI မော်ဒယ်လေ့ကျင့်ရေးအတွက် ၎င်းတို့၏အကြောင်းအရာများကို ရိုးရာရှာဖွေမှုရလဒ်များတွင် အပြည့်အဝရရှိနိုင်စေရန် ထိန်းသိမ်းထားစဉ်တွင် ဝဘ်ဆိုက်ထုတ်ဝေသူများအား ၎င်းတို့၏အကြောင်းအရာများကို ပိတ်ဆို့စေမည့် ထိန်းချုပ်မှုအသစ်ကို မိတ်ဆက်ပေးခဲ့သည်။

စက်တင်ဘာလ 15 ရက်နေ့တွင် Cloudflare ဘလော့ဂ်တွင်ကြေငြာခဲ့သောအင်္ဂါရပ်သည် crawler အော်ပရေတာများအတွက် "Accountable" အသစ်သတ်မှတ်ခြင်းနှင့်အတူရောက်ရှိလာသည်။ Cloudflare ၏အဆိုအရ Apple၊ Google နှင့် Microsoft တို့သည် စာရေးကိရိယာများ အရည်အချင်းပြည့်မီသော ပထမဆုံးကုမ္ပဏီများဖြစ်သည်။ သတင်းကောင်း AI သတင်း သည် ယခုနှစ်တွင် လွှင့်တင်ထားသော အကြောင်းအရာများကို မည်သူက ခြစ်ထုတ်ရမည်ဆိုသည့် မေးခွန်းကို အင်တာနက်၏ အပြိုင်အဆိုင်ဆုံး မူဝါဒတိုက်ပွဲများထဲမှ တစ်ခုဖြစ်လာသည်ကို ခြေရာခံသူတိုင်း သိပါသည်။

ရောနှောအသုံးပြုမှု Crawler ပြဿနာ

အဓိကပြဿနာမှာ Cloudflare သည် ရောနှောအသုံးပြုသည့် စာရေးကိရိယာများဟု ခေါ်သည်- Googlebot၊ Bingbot နှင့် Applebot တို့ကဲ့သို့ တစ်ခုတည်းသော ဘော့တ်များသည် ရှာဖွေမှုအညွှန်းများတည်ဆောက်ရန်နှင့် AI မော်ဒယ်များအတွက် လေ့ကျင့်ရေးဒေတာစုဆောင်းရန်အတွက် စာမျက်နှာနှစ်ခုလုံးကို ရယူသည့် စာမျက်နှာများဖြစ်သည်။ သမိုင်းကြောင်းအရ၊ AI လေ့ကျင့်ရေးမှ ရှောင်ဖယ်လိုသော ဝဘ်ဆိုက်ပိုင်ရှင်တစ်ဦးတွင် တုံးတိတိတူရိယာတစ်ခုရှိသည် — robots.txt ကို ခွင့်မပြုဘဲ — ၎င်းကိုအသုံးပြုခြင်းဖြင့် ရှာဖွေမှုရလဒ်များ လုံးဝပျောက်ကွယ်သွားမည့် အန္တရာယ်ရှိသည်။

Cloudflare ၏ Disallow AI Training ဆက်တင်အသစ်ကို ဆိုက်၏ robots.txt ဖိုင်တွင် ထုတ်ဝေသည့် ညွှန်ကြားချက်အတွက် အမည်ပေးထားသည်။ ဖွင့်ထားသောအခါတွင်၊ ဝဘ်ဆိုက်၏ လေ့ကျင့်ရေးမရှိသော ဦးစားပေးသတ်မှတ်ချက်ကို robots.txt တွင် ထပ်တူပြုထားပြီး၊ တာဝန်ခံနိုင်သော ရောနှောအသုံးပြုမှု စာရေးကိရိယာများကို ရှာဖွေမှုရည်ရွယ်ချက်အတွက် ခွင့်ပြုထားဆဲဖြစ်ပြီး အခြားလေ့ကျင့်ရေးစာရေးကိရိယာတိုင်းကို ပိတ်ဆို့ထားသည်။ Amazon၊ Anthropic၊ Meta နှင့် OpenAI မှ လုပ်ဆောင်သည့် လေ့ကျင့်ရေးစာရေးကိရိယာများကို ပိတ်ပင်ထားခြင်းဖြစ်သည်—၎င်းသည် လေ့ကျင့်ရေးသီးသန့်စာရေးကိရိယာများကို ပိတ်ဆို့ထားသည်ဟု Cloudflare က မှတ်သားထားပါသည် — သည် ပထမနေရာတွင် ရှာဖွေမှုကို မထိခိုက်စေပါ။

Crawler ကို 'စာရင်းရှင်းခြင်း' ဖြစ်စေသောအရာ

တာဝန်ခံသတ်မှတ်ခြင်းအား ရယူရန်၊ ဘော့တ်အော်ပရေတာသည် ဘလော့ဂ်ပို့စ်တွင် ဖော်ပြထားသော လိုအပ်ချက်အစုံအလင်ကို ပြည့်မီရန် လိုအပ်သည်-

  • ဆိုက်ပိုင်ရှင်များသည် robots.txt သို့မဟုတ် အလားတူစံနှုန်းတစ်ခုမှတစ်ဆင့် AI လေ့ကျင့်ရေးမှ ဖယ်ထုတ်ရန် ယန္တရားတစ်ခု
  • အော်ပရေတာနှင့်တိုက်ရိုက်သတ်မှတ်ပြီး Cloudflare မှတစ်ဆင့် AI အနှစ်ချုပ်များကို ဖယ်ထုတ်ရန် ယန္တရားတစ်ခု
  • လေ့ကျင့်မှုအတွက် ရရှိနိုင်သော စာမျက်နှာများကို URL အဆင့်မြင်နိုင်စွမ်း၊ နှင့် အကြောင်းအရာ ရှာဖွေမှုတွင် မည်သို့ပါဝင်ကြောင်းပြသသည့် မက်ထရစ်များ
  • AI လေ့ကျင့်ရေးမှ ဖယ်ထုတ်ခြင်းသည် သမားရိုးကျ ရှာဖွေမှုအဆင့်များကို မထိခိုက်စေကြောင်း အာမခံပါသည်။

Cloudflare မှ Apple၊ Google နှင့် Microsoft တို့သည် လက်ရှိတွင် ၎င်းတို့သည် အရည်အချင်းများနှင့် ကိုက်ညီကြောင်း သရုပ်ပြကြပြီး ယနေ့ခေတ်တွင် ရရှိနိုင်သော စွမ်းရည်များကို ဖွံ့ဖြိုးတိုးတက်ဆဲ အင်္ဂါရပ်များအတွက် အချိန်ကန့်သတ်ထားသော ကတိကဝတ်များဖြင့် ပေါင်းစပ်ထားသည်။

ဆက်တင်အသစ်များ၊ ကန့်ကွက်ထားသော ကိရိယာများ

ပြောင်းလဲမှုသည် Cloudflare ၏ ဘော့တ်စီမံခန့်ခွဲမှုထိန်းချုပ်မှုများကို ပြန်လည်လုပ်ဆောင်ပြီး ယခုအခါ ခိုးယူသူအသွားအလာများကို ရှာဖွေမှု၊ လေ့ကျင့်မှုနှင့် အေးဂျင့်အဖြစ် အပြုအမူသုံးခုအဖြစ် အမျိုးအစားခွဲခြားထားသည်။ Disallow AI Training ကို ထည့်သွင်းခြင်းဖြင့် ရရှိနိုင်သော ဆက်တင်များမှာ ခွင့်ပြုရန်၊ AI သင်တန်းကို ခွင့်မပြုရန်၊ ကြော်ငြာများပါသည့် စာမျက်နှာများကို ပိတ်ဆို့ခြင်းနှင့် ပိတ်ဆို့ခြင်း တို့ဖြစ်သည်။

နှစ်ရှည်လများ စက်ကိရိယာနှစ်ခုကို ရပ်ဆိုင်းထားသည်။ ကျယ်ပြန့်သော "Block AI Bots" ရွေးချယ်ခွင့်သည် ပိုမိုအသေးစိတ်သော ရှာဖွေမှု၊ လေ့ကျင့်သင်ကြားမှုနှင့် အေးဂျင့်ထိန်းချုပ်မှုများကို ပံ့ပိုးပေးပြီး Managed Robots.txt ကို လက်ရှိအသုံးပြုသူများ အလိုအလျောက်ပြောင်းရွှေ့ခြင်းဖြင့် Bot Preference Sync ဟုခေါ်သော စနစ်ဖြင့် အစားထိုးထားသည်။ Disallow AI Training သည် အချို့သော domain အသစ်များအတွက် Cloudflare ၏ အကြံပြုဖွဲ့စည်းမှု၏ တစ်စိတ်တစ်ပိုင်းလည်း ဖြစ်လာမည်ဖြစ်သည်။

အကျိုးဆက်အများဆုံး ခလုတ်သည် Block ဆက်တင်ကို သူ့ဘာသာသူ သက်ဆိုင်သည်။ ယခင်က၊ ပိတ်ဆို့ခြင်းနှင့် "ကြော်ငြာများပါသော စာမျက်နှာများကို ပိတ်ဆို့ခြင်း" သည် ရောနှောအသုံးပြုသည့် စာရေးကိရိယာများနှင့် သက်ဆိုင်ခြင်းမရှိပေ။ စက်တင်ဘာလ 15 ရက်နေ့အထိ၊ အဆိုပါဆက်တင်များသည် Applebot၊ Bingbot နှင့် Googlebot အပါအဝင် လေ့ကျင့်ရေး စာစီစာကုံးများအားလုံးတွင် သက်ရောက်သည် — ဆိုလိုသည်မှာ Block ကိုရွေးချယ်သည့်ဆိုက်သည် ယခုရွေးချယ်မှု၏ ရှာဖွေမှုအဆင့်အကျိုးဆက်များကို လက်ခံပါသည်။

အေးဂျင့်များအတွက် 'Disallow' မရှိပါ။

ကွာဟချက်တစ်ခု ကျန်သေးသည်။ Cloudflare ၏ အေးဂျင့် အမျိုးအစားသည် လူတစ်ဦး၏ကိုယ်စား စာမျက်နှာသို့ ဝင်ရောက်ကြည့်ရှုသည့် ဘရောက်ဆာ-အသုံးပြုအေးဂျင့်များနှင့် ချတ်အသုံးပြုမှု အေးဂျင့်များကဲ့သို့သော အသုံးပြုသူညွှန်ကြားသည့် အေးဂျင့်များ ပါဝင်သည်။ ကုမ္ပဏီသည် အေးဂျင့်များသည် ရောစပ်အသုံးပြုသည့် ရေးကူးသူများကဲ့သို့ တူညီသော ရှာဖွေမှု-ရှာဖွေတွေ့ရှိနိုင်မှု အပေးအယူကို မဖန်တီးဘဲ အေးဂျင့်များအား ခွင့်မပြုသည့်ဦးစားပေးများကို ဖော်ပြရန်အတွက် အင်တာနက်တွင် ကောင်းမွန်စွာဖွဲ့စည်းထားသော ညွှန်ကြားချက်မရှိကြောင်း ကုမ္ပဏီက ရေးသားထားသည်။ Agents အတွက် Disallow setting မရှိသေးသော်လည်း Cloudflare က ai-prefs ကဲ့သို့ စံနှုန်းများအတိုင်း ချဉ်းကပ်မှုကို ပြန်လည်ကြည့်ရှုမည်ဟု ပြောကြားသော်လည်း၊

ထုတ်ဝေသူများအတွက် အဘယ်ကြောင့် အရေးကြီးသနည်း။

သတင်းအဖွဲ့အစည်းများနှင့် အကြောင်းအရာဆိုက်များအတွက်၊ ကြေငြာချက်သည် ထုတ်ဝေခြင်းလုပ်ငန်းနှင့် AI developer များကြားတွင် ထိပ်တိုက်တွေ့နေသည့်ကြားမှ အလုပ်ရနိုင်သော အလယ်အလတ်လမ်းစဉ်အတွက် အနီးစပ်ဆုံးအရာဖြစ်သည်။ ငွေပေးချေခြင်း သို့မဟုတ် ခွင့်ပြုချက်မရှိဘဲ ၎င်းတို့၏အလုပ်အတွက် လေ့ကျင့်ပေးခြင်းသည် ထုတ်ယူခြင်းဖြစ်သည်ဟု ထုတ်ဝေသူများက စောဒကတက်ခဲ့ကြသည်။ AI ကုမ္ပဏီများသည် တွားသွားခြင်းသည် စံအလေ့အကျင့်ဖြစ်ပြီး robots.txt သည် AI ခေတ်ထူးခြားချက်များအတွက် ဘယ်သောအခါမှ ဒီဇိုင်းထုတ်ထားခြင်းမရှိကြောင်း စောဒကတက်ခဲ့ကြသည်။

ရှာဖွေမှုအညွှန်းရေးခြင်းမှ လေ့ကျင့်ရေးအသုံးပြုမှုမှ ခွဲခြားထားသော ရှာဖွေရေးအညွှန်းများကို ခွဲထုတ်သည့် စာရေးကိရိယာများအတွက် သတ်မှတ်ခြင်းအား တရားဝင်သတ်မှတ်ခြင်းဖြင့် - Cloudflare သည် ထုတ်ဝေသူနှင့် အဆင်ပြေသည့် စည်းကမ်းချက်များကို ယှဉ်ပြိုင်ရန် AI ဓာတ်ခွဲခန်းများနှင့် ပလက်ဖောင်းကုမ္ပဏီများအား ထိရောက်စွာ တောင်းဆိုပါသည်။ တည်ထောင်သူ တာဝန်ခံ အော်ပရေတာ သုံးခုသည် မော်ဒယ်လေ့ကျင့်ရေး မဟုတ်ဘဲ ရှာဖွေမှုနှင့် လည်ပတ်မှုစနစ်များပေါ်တွင် အဓိက မှီခိုနေသော ကုမ္ပဏီများ ဖြစ်ကြပြီး၊ တိုက်ဆိုင်မှုမျိုး မဖြစ်နိုင်ပေ။

အဖွင့်မေးခွန်းမှာ ပြဋ္ဌာန်းရေးနှင့် ဘောဂဗေဒဖြစ်သည်။ Cloudflare သည် အပြုအမူနှင့် ထပ်တူကျသော ဦးစားပေးမှုများကို အမျိုးအစားခွဲခြားနိုင်သော်လည်း လေ့ကျင့်ရေးလိုင်စင်များ၏ ဘဏ္ဍာရေးစည်းမျဉ်းများသည် ထုတ်ဝေသူများနှင့် AI ကုမ္ပဏီများကြားတွင် သီးသန့်စျေးကွက်ကိစ္စတစ်ခုအဖြစ် ကျန်ရှိနေပါသည်။ ယခုအပတ်တွင် ပြောင်းလဲမှုများသည် ပို၍ လောကီဆန်ပြီး ပိုမိုအဓိပ္ပါယ်ရှိသော ဖြစ်ပါသည်- AI လေ့ကျင့်ရေးအား ငြင်းပယ်သည့် ဝဘ်ဆိုက်သည် ရှာဖွေမှုရလဒ်များတွင် ၎င်း၏နေရာကို မစွန့်ဘဲ ယခုပြုလုပ်နိုင်ပြီဖြစ်သည်။ လွှဲပြောင်းပေးသည့်အသွားအလာနှင့် လေ့ကျင့်ရေးအငြင်းပွားမှုများကို တစ်ချိန်တည်းတွင် စောင့်ကြည့်နေသည့် လုပ်ငန်းတစ်ခုအတွက်၊ ခွဲထွက်ခြင်းသည် အချိန်ကြာမြင့်နေပြီဖြစ်သည်။

---

AI ၏ရှေ့တွင်နေရန်

နောက်ဆုံးပေါ် AI သတင်းများ၊ ခွဲခြမ်းစိတ်ဖြာမှုနှင့် အောင်မြင်မှုများ—အားလုံးကို တစ်နေရာတည်းတွင် ရယူပါ။

AI သတင်းအပြည့်အစုံကို ဖတ်ရှုရန် →