ওয়েব ইনফ্রাস্ট্রাকচার কোম্পানি ক্লাউডফ্লেয়ার একটি নতুন নিয়ন্ত্রণ চালু করেছে যা ওয়েবসাইট প্রকাশকদের তাদের বিষয়বস্তুকে AI মডেল প্রশিক্ষণের জন্য ব্যবহার করা থেকে ব্লক করতে দেয় এবং এটিকে প্রথাগত অনুসন্ধান ফলাফলে সম্পূর্ণরূপে উপলব্ধ রাখে — এমন একটি ডিকপলিং যা আগে কখনও পরিষ্কারভাবে সমর্থন করেনি ক্রলার ইকোসিস্টেম।

15 সেপ্টেম্বর ক্লাউডফ্লেয়ার ব্লগে ঘোষিত বৈশিষ্ট্যটি, ক্রলার অপারেটরদের জন্য একটি নতুন "জবাবদিহিযোগ্য" উপাধির সাথে আসে৷ ক্লাউডফ্লেয়ার অনুসারে, অ্যাপল, গুগল এবং মাইক্রোসফ্ট হল প্রথম কোম্পানি যাদের ক্রলাররা যোগ্যতা অর্জন করে। এই বছর যে কেউ ব্রেকিং এআই নিউজ ট্র্যাক করছেন তারা জানেন যে প্রকাশিত বিষয়বস্তু কে স্ক্র্যাপ করবে এই প্রশ্নটি ইন্টারনেটের সবচেয়ে প্রতিদ্বন্দ্বিতাপূর্ণ নীতির লড়াইয়ের একটি হয়ে উঠেছে।

মিশ্র-ব্যবহারের ক্রলার সমস্যা

মূল সমস্যা হল ক্লাউডফ্লেয়ার যাকে মিশ্র-ব্যবহারের ক্রলার বলে: একক বট, যেমন গুগলবট, বিংবট এবং অ্যাপলবট, যা অনুসন্ধান সূচী তৈরি করতে এবং AI মডেলের প্রশিক্ষণের ডেটা সংগ্রহ করতে উভয় পৃষ্ঠা নিয়ে আসে। ঐতিহাসিকভাবে, একজন সাইটের মালিক যিনি AI প্রশিক্ষণ থেকে অপ্ট আউট করতে চেয়েছিলেন তার একটি ভোঁতা যন্ত্র ছিল — robots.txt অস্বীকৃতি — এবং এটি ব্যবহার করলে সার্চের ফলাফল থেকে সম্পূর্ণরূপে অদৃশ্য হয়ে যাওয়ার ঝুঁকি ছিল৷

ক্লাউডফ্লেয়ারের নতুন ডিসঅ্যালো এআই ট্রেনিং সেটিংসের নামকরণ করা হয়েছে এটি একটি সাইটের robots.txt ফাইলে প্রকাশ করা নির্দেশের জন্য। সক্রিয় করা হলে, সাইটের নো-প্রশিক্ষণের অগ্রাধিকারগুলি robots.txt-এ সিঙ্ক করা হয়, অনুসন্ধানের উদ্দেশ্যে জবাবদিহিমূলক মিশ্র-ব্যবহারের ক্রলারগুলি অনুমোদিত থাকে এবং অন্য প্রতিটি প্রশিক্ষণ ক্রলারকে অবরুদ্ধ করা হয়৷ ক্লাউডফ্লেয়ার নোট করে যে শুধুমাত্র প্রশিক্ষণের জন্য ক্রলারদের ব্লক করা - এটি Amazon, Anthropic, Meta এবং OpenAI দ্বারা চালিত প্রশিক্ষণ ক্রলারগুলির নাম দেয় - প্রথম স্থানে অনুসন্ধানকে প্রভাবিত করেনি।

কী একজন ক্রলারকে 'জবাবদিহিযোগ্য' করে তোলে

জবাবদিহিমূলক পদবী অর্জন করতে, একজন বট অপারেটরকে অবশ্যই ব্লগ পোস্টে উল্লেখিত প্রয়োজনীয়তার একটি সেট পূরণ করতে হবে বা প্রতিশ্রুতিবদ্ধ হতে হবে:

  • সাইটের মালিকদের robots.txt বা অনুরূপ স্ট্যান্ডার্ডের মাধ্যমে AI প্রশিক্ষণ থেকে অপ্ট আউট করার জন্য একটি প্রক্রিয়া
  • AI সারাংশ থেকে অপ্ট আউট করার একটি প্রক্রিয়া, সরাসরি অপারেটরের সাথে সেট করা এবং পরের বছর, Cloudflare এর মাধ্যমে
  • ইউআরএল-স্তরের দৃশ্যমানতা যেখানে পৃষ্ঠাগুলি প্রশিক্ষণের জন্য উপলব্ধ করা হয়েছিল, এবং মেট্রিক্স দেখায় যে কীভাবে সামগ্রী অনুসন্ধানে উপস্থিত হয়েছিল
  • আশ্বাস যে AI প্রশিক্ষণ থেকে বেরিয়ে যাওয়া ঐতিহ্যগত অনুসন্ধান র‌্যাঙ্কিংকে প্রভাবিত করবে না

ক্লাউডফ্লেয়ার বলেছে যে অ্যাপল, গুগল এবং মাইক্রোসফ্ট বর্তমানে দেখায় যে তারা যোগ্যতাগুলি পূরণ করে, যা এখনও বিকাশে থাকা বৈশিষ্ট্যগুলির জন্য সময়সীমাবদ্ধ প্রতিশ্রুতির সাথে আজ উপলব্ধ ক্ষমতাগুলিকে একত্রিত করে।

নতুন সেটিংস, অবচিত টুল

পরিবর্তনটি ক্লাউডফ্লেয়ারের বট পরিচালনা নিয়ন্ত্রণকে পুনরায় কাজ করে, যা এখন ক্রলার ট্র্যাফিককে তিনটি আচরণে শ্রেণীবদ্ধ করে: অনুসন্ধান, প্রশিক্ষণ এবং এজেন্ট। ডিসঅ্যালো এআই ট্রেনিং যোগ করা হলে, উপলভ্য সেটিংস হল অ্যালো, ডিসঅ্যালো এআই ট্রেনিং, বিজ্ঞাপন সহ পৃষ্ঠাগুলিতে ব্লক করা এবং ব্লক করা।

দুটি দীর্ঘস্থায়ী সরঞ্জাম অবমূল্যায়িত হচ্ছে। বিস্তৃত "ব্লক এআই বটস" বিকল্পটি আরও দানাদার অনুসন্ধান, প্রশিক্ষণ এবং এজেন্ট নিয়ন্ত্রণের পথ দেয় এবং পরিচালিত Robots.txt বট প্রেফারেন্স সিঙ্ক নামক একটি সিস্টেম দ্বারা প্রতিস্থাপিত হয়, যেখানে বিদ্যমান গ্রাহকরা স্বয়ংক্রিয়ভাবে স্থানান্তরিত হয়। কিছু নতুন ডোমেনের জন্য ক্লাউডফ্লেয়ারের প্রস্তাবিত কনফিগারেশনের অংশ হয়ে উঠবে এআই প্রশিক্ষণকে অস্বীকৃতি জানান।

সবচেয়ে ফলপ্রসূ সুইচ ব্লক সেটিং নিজেই উদ্বেগ. পূর্বে, ব্লক এবং "বিজ্ঞাপন সহ পৃষ্ঠাগুলিতে ব্লক করুন" মিশ্র-ব্যবহারের ক্রলারগুলির ক্ষেত্রে প্রযোজ্য ছিল না, কারণ সেগুলিকে ব্লক করলে অনুসন্ধানের আবিষ্কারের ক্ষতি হতে পারে। 15 সেপ্টেম্বর থেকে, সেই সেটিংস এখন Applebot, Bingbot এবং Googlebot সহ সমস্ত প্রশিক্ষণ ক্রলারের জন্য প্রযোজ্য — যার অর্থ হল একটি সাইট যা ব্লক বেছে নেয় এখন সেই পছন্দের অনুসন্ধান-র্যাঙ্কিং ফলাফলগুলিকে গ্রহণ করে৷

এজেন্টদের জন্য 'অস্বীকৃতি' নেই — এখনো

একটা ফাঁক রয়ে গেছে। ক্লাউডফ্লেয়ারের এজেন্ট ক্যাটাগরি ব্যবহারকারী-নির্দেশিত এজেন্টকে কভার করে, যেমন ব্রাউজার-ব্যবহার এজেন্ট এবং চ্যাট ফেচ বট, একজন ব্যক্তির পক্ষে একটি পৃষ্ঠা পরিদর্শন করা। কোম্পানি লিখেছে যে এজেন্টরা মিশ্র-ব্যবহারের ক্রলারের মতো একই অনুসন্ধান-আবিষ্কারযোগ্যতা ট্রেডঅফ তৈরি করে না, এবং ইন্টারনেটে এজেন্টদের অননুমোদিত পছন্দ প্রকাশ করার জন্য একটি সু-প্রতিষ্ঠিত নির্দেশনার অভাব রয়েছে। আপাতত এজেন্টদের জন্য কোনো ডিসঅ্যালো সেটিং নেই, যদিও ক্লাউডফ্লেয়ার বলেছে যে ai-prefs এর মতো মানদণ্ডগুলি পরিপক্ক হওয়ার কারণে এটি পদ্ধতির পুনর্বিবেচনা করবে।

কেন এটি প্রকাশকদের জন্য গুরুত্বপূর্ণ

সংবাদ সংস্থা এবং বিষয়বস্তু সাইটগুলির জন্য, ঘোষণাটি প্রকাশনা শিল্প এবং এআই বিকাশকারীদের মধ্যে স্থবিরতার মধ্যে একটি কার্যকর মধ্যপথের কাছের জিনিস। প্রকাশকরা যুক্তি দিয়েছেন যে অর্থ প্রদান বা অনুমতি ছাড়াই তাদের কাজের প্রশিক্ষণ নিষ্কাশন; এআই কোম্পানিগুলি যুক্তি দিয়েছে যে ক্রলিং একটি আদর্শ অনুশীলন এবং robots.txt কখনই এআই-যুগের পার্থক্যের জন্য ডিজাইন করা হয়নি।

প্রশিক্ষণের ব্যবহার থেকে অনুসন্ধান সূচীকরণকে পৃথক করে এমন ক্রলারদের জন্য একটি পদবি আনুষ্ঠানিককরণের মাধ্যমে — এবং ডিফল্ট নিয়ন্ত্রণের মাধ্যমে এটি প্রয়োগ করে — Cloudflare কার্যকরভাবে AI ল্যাব এবং প্ল্যাটফর্ম কোম্পানিগুলিকে প্রকাশক-বান্ধব শর্তে প্রতিযোগিতা করতে বলছে৷ তিনটি প্রতিষ্ঠাতা অ্যাকাউন্টেবল অপারেটর এমন কোম্পানি হতে পারে যাদের মূল ব্যবসাগুলি অনুসন্ধান এবং অপারেটিং সিস্টেমের উপর নির্ভর করে, মডেল প্রশিক্ষণ নয়, যা একটি কাকতালীয় হওয়ার সম্ভাবনা কম।

খোলা প্রশ্ন হল প্রয়োগ এবং অর্থনীতি। ক্লাউডফ্লেয়ার আচরণ এবং সিঙ্ক পছন্দগুলিকে শ্রেণীবদ্ধ করতে পারে, তবে প্রশিক্ষণ লাইসেন্সের আর্থিক শর্তাবলী প্রকাশক এবং এআই কোম্পানিগুলির মধ্যে একটি ব্যক্তিগত-বাজার বিষয় হিসাবে রয়ে গেছে। এই সপ্তাহে যা পরিবর্তন হয়েছে তা আরও জাগতিক এবং আরও অর্থবহ: একটি সাইট যেটি AI প্রশিক্ষণকে না বলে এখন সার্চ ফলাফলে তার স্থান ত্যাগ না করে তা করতে পারে। রেফারেল ট্র্যাফিক এবং প্রশিক্ষণের বিরোধ একই সময়ে উন্মোচিত হওয়া একটি শিল্পের জন্য, সেই বিচ্ছেদ দীর্ঘকাল ধরে আসছে।

---

এআই থেকে এগিয়ে থাকুন

সর্বশেষ AI খবর, বিশ্লেষণ এবং সাফল্য পান — সব এক জায়গায়।

আরও এআই খবর পড়ুন →