قدمت شركة Cloudflare للبنية التحتية للويب عنصر تحكم جديدًا يتيح لناشري مواقع الويب حظر استخدام المحتوى الخاص بهم في التدريب على نماذج الذكاء الاصطناعي مع إبقائه متاحًا بالكامل في نتائج البحث التقليدية - وهو فصل لم يدعمه النظام البيئي للزاحف بشكل واضح من قبل.

هذه الميزة، التي تم الإعلان عنها على مدونة Cloudflare في 15 سبتمبر، تصل جنبًا إلى جنب مع التصنيف الجديد "المسؤول" لمشغلي الزاحف. وفقًا لـ Cloudflare، فإن Apple وGoogle وMicrosoft هي الشركات الأولى التي تتأهل برامج الزحف الخاصة بها. أي شخص يتتبع [أخبار الذكاء الاصطناعي العاجلة] (https://aibuzzwire.news) هذا العام يعرف أن السؤال حول من يحق له استخراج المحتوى المنشور أصبح أحد أكثر المعارك السياسية إثارة للجدل على الإنترنت.

مشكلة الزاحف متعدد الاستخدامات

تكمن المشكلة الأساسية في ما تسميه Cloudflare برامج الزحف متعددة الاستخدامات: الروبوتات الفردية، مثل Googlebot، وBingbot، وApplebot، التي تجلب الصفحات لبناء فهارس البحث وجمع بيانات التدريب لنماذج الذكاء الاصطناعي. تاريخيًا، كان لدى مالك الموقع الذي أراد إلغاء الاشتراك في تدريب الذكاء الاصطناعي أداة واحدة غير حادة - وهي عدم السماح بملف robots.txt - وكان استخدامها يخاطر بالتلاشي من نتائج البحث تمامًا.

تمت تسمية إعداد Disallow AI Training الجديد في Cloudflare على اسم التوجيه الذي ينشره في ملف robots.txt الخاص بالموقع. عند التمكين، تتم مزامنة تفضيل عدم التدريب الخاص بالموقع مع ملف robots.txt، وتظل برامج الزحف متعددة الاستخدامات الخاضعة للمساءلة مسموحًا بها لأغراض البحث، ويتم حظر كل زاحف تدريب آخر. تشير Cloudflare إلى أن حظر برامج الزحف التدريبية فقط - وهي تسمي برامج الزحف التدريبية التي تديرها Amazon وAnthropic وMeta وOpenAI - لم يؤثر أبدًا على البحث في المقام الأول.

ما الذي يجعل الزاحف "مسؤولاً"

للحصول على التعيين المسؤول، يجب على مشغل الروبوت تلبية أو الالتزام بتلبية مجموعة من المتطلبات المنصوص عليها في منشور المدونة:

  • آلية تتيح لأصحاب المواقع إلغاء الاشتراك في تدريب الذكاء الاصطناعي، عبر ملف robots.txt أو معيار مماثل
  • آلية لإلغاء الاشتراك في ملخصات الذكاء الاصطناعي، يتم تحديدها مباشرة مع المشغل، وفي العام المقبل، من خلال Cloudflare
  • رؤية على مستوى عنوان URL للصفحات التي تم توفيرها للتدريب، بالإضافة إلى المقاييس التي توضح كيفية ظهور المحتوى في البحث
  • التأكد من أن إلغاء الاشتراك في تدريب الذكاء الاصطناعي لن يؤثر على تصنيفات البحث التقليدية

تقول Cloudflare إن Apple وGoogle وMicrosoft يثبتون حاليًا أنهم يستوفون المؤهلات، ويجمعون بين القدرات المتاحة اليوم مع الالتزامات المحددة زمنيًا للميزات التي لا تزال قيد التطوير.

إعدادات جديدة، أدوات مهملة

يعمل هذا التغيير على إعادة صياغة عناصر التحكم في إدارة الروبوتات في Cloudflare، والتي تصنف الآن حركة مرور الزاحف إلى ثلاثة سلوكيات: البحث والتدريب والوكيل. مع إضافة "عدم السماح بتدريب الذكاء الاصطناعي"، فإن الإعدادات المتاحة هي "السماح" و"عدم السماح بتدريب الذكاء الاصطناعي" و"حظر الصفحات التي تحتوي على إعلانات" و"حظر".

تم إهمال أداتين قديمتين. يفسح خيار "Block AI Bots" الواسع المجال لعناصر تحكم أكثر دقة في البحث والتدريب والوكلاء، ويتم استبدال Managed Robots.txt بنظام يسمى Bot Preference Sync، مع ترحيل العملاء الحاليين تلقائيًا. سيصبح عدم السماح بتدريب الذكاء الاصطناعي أيضًا جزءًا من التكوين الموصى به من Cloudflare لبعض النطاقات الجديدة.

يتعلق المفتاح الأكثر أهمية بإعداد الحظر نفسه. في السابق، لم يكن الحظر و"الحظر على الصفحات التي تحتوي على إعلانات" ينطبق على برامج الزحف متعددة الاستخدامات، لأن حظرها قد يؤدي إلى الإضرار بإمكانية اكتشاف البحث. اعتبارًا من 15 سبتمبر، تنطبق هذه الإعدادات الآن على جميع برامج الزحف التدريبية، بما في ذلك Applebot وBingbot وGooglebot - مما يعني أن الموقع الذي يختار الحظر يقبل الآن عواقب تصنيف البحث لهذا الاختيار.

لا يوجد "عدم السماح" للوكلاء - حتى الآن

تبقى فجوة واحدة. تغطي فئة وكيل Cloudflare الوكلاء الموجهين من قبل المستخدم، مثل وكلاء استخدام المتصفح وروبوتات جلب الدردشة، الذين يقومون بزيارة صفحة نيابة عن شخص ما. كتبت الشركة أن الوكلاء لا يقومون بإنشاء نفس المقايضة بين البحث وقابلية الاكتشاف مثل برامج الزحف متعددة الاستخدامات، وأن الإنترنت يفتقر إلى توجيه راسخ للتعبير عن عدم السماح للوكلاء بالتفضيلات. في الوقت الحالي، لا يوجد إعداد Disallow للوكلاء، على الرغم من أن Cloudflare تقول إنها ستعيد النظر في النهج مع نضوج معايير مثل ai-prefs.

لماذا يهم الناشرين

بالنسبة للمؤسسات الإخبارية ومواقع المحتوى، يعد هذا الإعلان هو أقرب شيء حتى الآن إلى مسار وسط عملي في المواجهة بين صناعة النشر ومطوري الذكاء الاصطناعي. وقد جادل الناشرون بأن التدريب على عملهم دون مقابل أو إذن هو استخراج؛ لقد جادلت شركات الذكاء الاصطناعي بأن الزحف هو ممارسة قياسية وأن ملف robots.txt لم يتم تصميمه أبدًا للتميز في عصر الذكاء الاصطناعي.

من خلال إضفاء الطابع الرسمي على التعيين لبرامج الزحف التي تفصل فهرسة البحث عن الاستخدام التدريبي - ومن خلال فرضها من خلال عناصر التحكم الافتراضية - تطلب Cloudflare بشكل فعال من مختبرات الذكاء الاصطناعي وشركات المنصات التنافس على شروط صديقة للناشرين. تصادف أن المشغلين المؤسسين الثلاثة للمساءلة هم شركات تعتمد أعمالها الأساسية على أنظمة البحث والتشغيل، وليس التدريب النموذجي، وهو أمر من غير المرجح أن يكون محض صدفة.

والسؤال المفتوح هو التنفيذ والاقتصاد. يمكن لـ Cloudflare تصنيف السلوك وتفضيلات المزامنة، لكن الشروط المالية لتراخيص التدريب تظل مسألة سوق خاصة بين الناشرين وشركات الذكاء الاصطناعي. ما تغير هذا الأسبوع هو أمر عادي وأكثر أهمية: فالموقع الذي يرفض تدريب الذكاء الاصطناعي يمكنه الآن القيام بذلك دون التضحية بمكانته في نتائج البحث. بالنسبة لصناعة تراقب حركة الإحالة والنزاعات التدريبية التي تتكشف في نفس الوقت، فقد كان هذا الانفصال قادمًا منذ وقت طويل.

---

ابقَ في طليعة الذكاء الاصطناعي

احصل على آخر الأخبار والتحليلات والإنجازات في مجال الذكاء الاصطناعي — كل ذلك في مكان واحد.

اقرأ المزيد من أخبار الذكاء الاصطناعي →