ویب انفراسٹرکچر کمپنی Cloudflare نے ایک نیا کنٹرول متعارف کرایا ہے جو ویب سائٹ پبلشرز کو روایتی تلاش کے نتائج میں مکمل طور پر دستیاب رکھتے ہوئے اپنے مواد کو AI ماڈل کی تربیت کے لیے استعمال کرنے سے روکتا ہے - ایک ایسا ڈیکپلنگ جسے کرالر ایکو سسٹم نے پہلے کبھی صاف سپورٹ نہیں کیا تھا۔

15 ستمبر کو کلاؤڈ فلیئر بلاگ پر اعلان کردہ خصوصیت، کرالر آپریٹرز کے لیے ایک نئے "حساب پذیر" عہدہ کے ساتھ آتی ہے۔ Cloudflare کے مطابق، Apple، Google اور Microsoft پہلی کمپنیاں ہیں جن کے کرالر اہل ہیں۔ اس سال بریکنگ اے آئی نیوز کو ٹریک کرنے والا کوئی بھی شخص جانتا ہے کہ شائع شدہ مواد کو کس نے ختم کرنا ہے انٹرنیٹ کی سب سے زیادہ متنازعہ پالیسی لڑائیوں میں سے ایک بن گیا ہے۔

مخلوط استعمال کرالر کا مسئلہ

بنیادی مسئلہ وہ ہے جسے Cloudflare مخلوط استعمال کرنے والے کرالر کہتا ہے: سنگل بوٹس، جیسے Googlebot، Bingbot اور Applebot، جو سرچ انڈیکس بنانے اور AI ماڈلز کے لیے تربیتی ڈیٹا اکٹھا کرنے کے لیے صفحات لاتے ہیں۔ تاریخی طور پر، ایک سائٹ کا مالک جو AI ٹریننگ سے آپٹ آؤٹ کرنا چاہتا تھا اس کے پاس ایک دو ٹوک آلہ تھا — robots.txt disallow — اور اسے استعمال کرنے سے تلاش کے نتائج سے مکمل طور پر غائب ہونے کا خطرہ تھا۔

Cloudflare کی نئی Disallow AI ٹریننگ سیٹنگ کا نام اس ہدایت کے لیے رکھا گیا ہے جو یہ سائٹ کی robots.txt فائل میں شائع کرتی ہے۔ فعال ہونے پر، سائٹ کی غیر تربیتی ترجیح robots.txt میں مطابقت پذیر ہو جاتی ہے، تلاش کے مقاصد کے لیے جوابدہ مخلوط استعمال کرنے والے کرالر کی اجازت رہتی ہے، اور ہر دوسرے تربیتی کرالر کو مسدود کر دیا جاتا ہے۔ Cloudflare نوٹ کرتا ہے کہ صرف ٹریننگ کرالرز کو مسدود کرنا — یہ Amazon، Anthropic، Meta اور OpenAI کے ذریعے چلائے جانے والے ٹریننگ کرالر کا نام دیتا ہے — پہلی جگہ تلاش پر کبھی اثر نہیں ہوا۔

ایک کرالر کو 'جوابدہ' کیا بناتا ہے

احتسابی عہدہ حاصل کرنے کے لیے، بوٹ آپریٹر کو بلاگ پوسٹ میں بیان کردہ تقاضوں کے سیٹ کو پورا کرنا یا پورا کرنے کا عہد کرنا چاہیے:

  • سائٹ کے مالکان کے لیے روبوٹس.txt یا اس سے ملتے جلتے معیار کے ذریعے AI تربیت سے آپٹ آؤٹ کرنے کا طریقہ کار
  • AI خلاصوں سے آپٹ آؤٹ کرنے کا طریقہ کار، براہ راست آپریٹر کے ساتھ اور اگلے سال، Cloudflare کے ذریعے
  • URL کی سطح کی مرئیت جس میں صفحات کو تربیت کے لیے دستیاب کرایا گیا تھا، نیز میٹرکس یہ دکھاتا ہے کہ تلاش میں مواد کیسے ظاہر ہوا
  • یقین دہانی کہ AI ٹریننگ سے آپٹ آؤٹ کرنے سے روایتی تلاش کی درجہ بندی متاثر نہیں ہوگی۔

کلاؤڈ فلیئر کا کہنا ہے کہ ایپل، گوگل اور مائیکروسافٹ فی الحال یہ ظاہر کرتے ہیں کہ وہ قابلیت پر پورا اترتے ہیں، اور آج کی دستیاب صلاحیتوں کو جو کہ اب بھی ترقی میں موجود خصوصیات کے لیے وقت کے پابند وعدوں کے ساتھ ہے۔

نئی ترتیبات، فرسودہ ٹولز

تبدیلی Cloudflare کے بوٹ مینجمنٹ کنٹرولز کو دوبارہ کام کرتی ہے، جو اب کرالر ٹریفک کو تین طرز عمل میں درجہ بندی کرتی ہے: تلاش، تربیت اور ایجنٹ۔ Disallow AI ٹریننگ کو شامل کرنے کے ساتھ، دستیاب سیٹنگز Allow، Disallow AI ٹریننگ، اشتہارات والے صفحات پر بلاک اور بلاک ہیں۔

دو دیرینہ ٹولز کو فرسودہ کیا جا رہا ہے۔ وسیع تر "Block AI Bots" کا اختیار مزید دانے دار تلاش، تربیت اور ایجنٹ کے کنٹرول کو راستہ فراہم کرتا ہے، اور Managed Robots.txt کو Bot Preference Sync نامی سسٹم سے بدل دیا جاتا ہے، موجودہ صارفین خود بخود منتقل ہو جاتے ہیں۔ Disallow AI ٹریننگ کچھ نئے ڈومینز کے لیے Cloudflare کی تجویز کردہ کنفیگریشن کا حصہ بھی بن جائے گی۔

سب سے زیادہ نتیجہ خیز سوئچ خود بلاک کی ترتیب سے متعلق ہے۔ پہلے، بلاک اور "اشتہارات والے صفحات پر مسدود کریں" کا اطلاق مخلوط استعمال والے کرالر پر نہیں ہوتا تھا، کیونکہ انہیں مسدود کرنے سے تلاش کی دریافت کو نقصان پہنچ سکتا ہے۔ 15 ستمبر تک، وہ ترتیبات اب تمام ٹریننگ کرالر پر لاگو ہوتی ہیں، بشمول Applebot، Bingbot اور Googlebot — یعنی بلاک کا انتخاب کرنے والی سائٹ اب اس انتخاب کے تلاش کی درجہ بندی کے نتائج کو قبول کرتی ہے۔

ایجنٹوں کے لیے 'منظور' نہیں - ابھی تک

ایک خلا باقی ہے۔ Cloudflare کے ایجنٹ کے زمرے میں صارف کی ہدایت کردہ ایجنٹوں کا احاطہ کیا گیا ہے، جیسے کہ براؤزر کے استعمال کے ایجنٹس اور چیٹ فیچ بوٹس، کسی شخص کی جانب سے کسی صفحے پر جانا۔ کمپنی لکھتی ہے کہ ایجنٹ مخلوط استعمال کرنے والے کرالر کی طرح تلاش کی دریافت کی تجارت نہیں بناتے ہیں، اور یہ کہ انٹرنیٹ کے پاس ایجنٹوں کو ناپسندیدہ ترجیحات کے اظہار کے لیے ایک اچھی طرح سے قائم کردہ ہدایت کی کمی ہے۔ فی الحال ایجنٹوں کے لیے کوئی Disallow سیٹنگ نہیں ہے، حالانکہ Cloudflare کا کہنا ہے کہ وہ اس نقطہ نظر پر نظرثانی کرے گا کیونکہ معیارات جیسے کہ ai-prefs بالغ ہوں گے۔

یہ پبلشرز کے لیے کیوں اہم ہے۔

خبروں کی تنظیموں اور مواد کی سائٹس کے لیے، اعلان اشاعتی صنعت اور AI ڈویلپرز کے درمیان تعطل میں ایک قابل عمل درمیانی راستے کے لیے ابھی تک قریب ترین چیز ہے۔ پبلشرز نے دلیل دی ہے کہ بغیر ادائیگی یا اجازت کے ان کے کام کی تربیت نکالنا ہے۔ AI کمپنیوں نے استدلال کیا ہے کہ رینگنا معیاری عمل ہے اور یہ کہ robots.txt کبھی بھی AI دور کے امتیازات کے لیے ڈیزائن نہیں کیا گیا تھا۔

کرالرز کے لیے ایک عہدہ کو باقاعدہ بنا کر جو تلاش کی اشاریہ کاری کو تربیت کے استعمال سے الگ کرتا ہے — اور اسے پہلے سے طے شدہ کنٹرولز کے ذریعے نافذ کر کے — Cloudflare مؤثر طریقے سے AI لیبز اور پلیٹ فارم کمپنیوں سے پبلشر کے موافق شرائط پر مقابلہ کرنے کے لیے کہہ رہا ہے۔ تین بانی اکاؤنٹیبل آپریٹرز ایسی کمپنیاں ہیں جن کے بنیادی کاروبار کا انحصار سرچ اور آپریٹنگ سسٹم پر ہے، نہ کہ ماڈل ٹریننگ، جس کا امکان نہیں ہے۔

کھلا سوال نفاذ اور معاشیات کا ہے۔ Cloudflare رویے اور مطابقت پذیری کی ترجیحات کی درجہ بندی کر سکتا ہے، لیکن تربیتی لائسنس کی مالی شرائط پبلشرز اور AI کمپنیوں کے درمیان ایک نجی مارکیٹ کا معاملہ بنی ہوئی ہیں۔ اس ہفتے جو تبدیلیاں آتی ہیں وہ زیادہ غیرمعمولی اور زیادہ معنی خیز ہیں: ایک سائٹ جو AI ٹریننگ کو نہیں کہتی ہے اب تلاش کے نتائج میں اپنی جگہ کو قربان کیے بغیر ایسا کر سکتی ہے۔ ریفرل ٹریفک اور ٹریننگ کے تنازعات کو ایک ہی وقت میں سامنے آنے والی صنعت کے لیے، اس علیحدگی کو آنے میں کافی وقت ہو گیا ہے۔

---

AI سے آگے رہیں

تازہ ترین AI خبریں، تجزیہ اور کامیابیاں حاصل کریں — سب ایک جگہ پر۔

مزید AI خبریں پڑھیں →