वेब इंफ्रास्ट्रक्चर कंपनी क्लाउडफ्लेयर ने एक नया नियंत्रण पेश किया है जो वेबसाइट प्रकाशकों को अपनी सामग्री को पारंपरिक खोज परिणामों में पूरी तरह से उपलब्ध रखते हुए एआई मॉडल प्रशिक्षण के लिए उपयोग करने से रोकता है - एक डिकूपिंग जिसे क्रॉलर पारिस्थितिकी तंत्र ने पहले कभी भी स्पष्ट रूप से समर्थन नहीं किया है।

15 सितंबर को क्लाउडफ्लेयर ब्लॉग पर घोषित यह सुविधा क्रॉलर ऑपरेटरों के लिए एक नए "जवाबदेह" पदनाम के साथ आती है। Cloudflare के अनुसार, Apple, Google और Microsoft पहली कंपनियां हैं जिनके क्रॉलर योग्य हैं। इस वर्ष [ब्रेकिंग एआई न्यूज] (https://aibuzzwire.news) पर नज़र रखने वाला कोई भी व्यक्ति जानता है कि प्रकाशित सामग्री को कौन हटाएगा यह सवाल इंटरनेट की सबसे विवादित नीतिगत लड़ाइयों में से एक बन गया है।

मिश्रित-उपयोग क्रॉलर समस्या

मुख्य मुद्दा वह है जिसे क्लाउडफ्लेयर मिश्रित-उपयोग क्रॉलर कहता है: Googlebot, Bingbot और Applebot जैसे एकल बॉट, जो खोज इंडेक्स बनाने और AI मॉडल के लिए प्रशिक्षण डेटा एकत्र करने के लिए पेज लाते हैं। ऐतिहासिक रूप से, एक साइट मालिक जो एआई प्रशिक्षण से बाहर निकलना चाहता था, उसके पास एक कुंद उपकरण था - robots.txt अस्वीकृत - और इसका उपयोग करने से खोज परिणामों से पूरी तरह से गायब होने का जोखिम था।

Cloudflare की नई Disallow AI ट्रेनिंग सेटिंग का नाम उस निर्देश के लिए रखा गया है जो यह साइट की robots.txt फ़ाइल में प्रकाशित करता है। सक्षम होने पर, साइट की नो-ट्रेनिंग प्राथमिकता को robots.txt में समन्वयित किया जाता है, जवाबदेह मिश्रित-उपयोग क्रॉलर को खोज उद्देश्यों के लिए अनुमति दी जाती है, और प्रत्येक अन्य प्रशिक्षण क्रॉलर को अवरुद्ध कर दिया जाता है। क्लाउडफ़ेयर नोट करता है कि केवल-प्रशिक्षण क्रॉलर को अवरुद्ध करना - यह अमेज़ॅन, एंथ्रोपिक, मेटा और ओपनएआई द्वारा संचालित प्रशिक्षण क्रॉलर का नाम देता है - पहले कभी भी खोज को प्रभावित नहीं किया।

क्या चीज़ एक क्रॉलर को 'जवाबदेह' बनाती है

जवाबदेह पदनाम अर्जित करने के लिए, एक बॉट ऑपरेटर को ब्लॉग पोस्ट में निर्धारित आवश्यकताओं के एक सेट को पूरा करना होगा या पूरा करने के लिए प्रतिबद्ध होना होगा:

  • साइट मालिकों के लिए robots.txt या समान मानक के माध्यम से AI प्रशिक्षण से बाहर निकलने का एक तंत्र
  • एआई सारांश से बाहर निकलने के लिए एक तंत्र, सीधे ऑपरेटर के साथ सेट करें और, अगले वर्ष, क्लाउडफ्लेयर के माध्यम से
  • यूआरएल-स्तरीय दृश्यता जिसमें पेज प्रशिक्षण के लिए उपलब्ध कराए गए थे, साथ ही मेट्रिक्स दिखाते हैं कि सामग्री खोज में कैसे दिखाई देती है
  • आश्वासन कि एआई प्रशिक्षण से बाहर निकलने से पारंपरिक खोज रैंकिंग प्रभावित नहीं होगी

क्लाउडफ़ेयर का कहना है कि Apple, Google और Microsoft वर्तमान में प्रदर्शित करते हैं कि वे योग्यताओं को पूरा करते हैं, आज उपलब्ध क्षमताओं को विकास में अभी भी सुविधाओं के लिए समयबद्ध प्रतिबद्धताओं के साथ जोड़ते हैं।

नई सेटिंग्स, अप्रचलित उपकरण

यह परिवर्तन क्लाउडफ्लेयर के बॉट प्रबंधन नियंत्रणों को फिर से काम में लाता है, जो अब क्रॉलर ट्रैफ़िक को तीन व्यवहारों में वर्गीकृत करता है: खोज, प्रशिक्षण और एजेंट। एआई प्रशिक्षण को अस्वीकार करने के साथ, उपलब्ध सेटिंग्स अनुमति दें, एआई प्रशिक्षण को अस्वीकार करें, विज्ञापनों वाले पृष्ठों पर ब्लॉक करें और ब्लॉक करें।

लंबे समय से चले आ रहे दो उपकरणों को बहिष्कृत किया जा रहा है। व्यापक "ब्लॉक एआई बॉट्स" विकल्प अधिक विस्तृत खोज, प्रशिक्षण और एजेंट नियंत्रणों का मार्ग प्रशस्त करता है, और प्रबंधित रोबोट्स.txt को बॉट प्रेफरेंस सिंक नामक सिस्टम द्वारा प्रतिस्थापित किया जाता है, जिसमें मौजूदा ग्राहक स्वचालित रूप से माइग्रेट हो जाते हैं। अस्वीकृत एआई प्रशिक्षण भी कुछ नए डोमेन के लिए क्लाउडफ्लेयर के अनुशंसित कॉन्फ़िगरेशन का हिस्सा बन जाएगा।

सबसे अधिक परिणामी स्विच ब्लॉक सेटिंग से ही संबंधित है। पहले, ब्लॉक और "विज्ञापन वाले पृष्ठों पर ब्लॉक करें" मिश्रित-उपयोग वाले क्रॉलर पर लागू नहीं होते थे, क्योंकि उन्हें ब्लॉक करने से खोज खोज क्षमता को नुकसान हो सकता था। 15 सितंबर से, वे सेटिंग्स अब Applebot, Bingbot और Googlebot सहित सभी प्रशिक्षण क्रॉलर पर लागू होती हैं - जिसका अर्थ है कि ब्लॉक चुनने वाली साइट अब उस विकल्प के खोज-रैंकिंग परिणामों को स्वीकार करती है।

एजेंटों के लिए कोई 'अस्वीकृति' नहीं - फिर भी

एक गैप बाकी है. क्लाउडफ्लेयर की एजेंट श्रेणी में उपयोगकर्ता-निर्देशित एजेंट शामिल हैं, जैसे ब्राउज़र-उपयोग एजेंट और चैट फ़ेच बॉट, जो किसी व्यक्ति की ओर से किसी पृष्ठ पर जाते हैं। कंपनी लिखती है कि एजेंट मिश्रित-उपयोग क्रॉलर के समान खोज-खोज योग्यता ट्रेडऑफ़ नहीं बनाते हैं, और इंटरनेट में एजेंटों को अस्वीकृत प्राथमिकताएं व्यक्त करने के लिए एक अच्छी तरह से स्थापित निर्देश का अभाव है। फिलहाल एजेंटों के लिए कोई अस्वीकृत सेटिंग नहीं है, हालांकि क्लाउडफ्लेयर का कहना है कि जैसे-जैसे एआई-प्रिफ़्स जैसे मानक परिपक्व होंगे, वह इस दृष्टिकोण पर फिर से विचार करेगा।

प्रकाशकों के लिए यह क्यों मायने रखता है

समाचार संगठनों और सामग्री साइटों के लिए, घोषणा प्रकाशन उद्योग और एआई डेवलपर्स के बीच गतिरोध में एक व्यावहारिक मध्य मार्ग के सबसे करीब है। प्रकाशकों ने तर्क दिया है कि भुगतान या अनुमति के बिना उनके काम पर प्रशिक्षण निष्कर्षण है; एआई कंपनियों ने तर्क दिया है कि क्रॉल करना मानक अभ्यास है और robots.txt को कभी भी एआई-युग के भेदों के लिए डिज़ाइन नहीं किया गया था।

क्रॉलर्स के लिए एक पदनाम को औपचारिक रूप देकर जो खोज अनुक्रमण को प्रशिक्षण उपयोग से अलग करता है - और इसे डिफ़ॉल्ट नियंत्रणों के माध्यम से लागू करके - क्लाउडफ़ेयर प्रभावी रूप से एआई प्रयोगशालाओं और प्लेटफ़ॉर्म कंपनियों को प्रकाशक-अनुकूल शर्तों पर प्रतिस्पर्धा करने के लिए कह रहा है। तीन संस्थापक जवाबदेह संचालक ऐसी कंपनियां हैं जिनका मुख्य व्यवसाय खोज और ऑपरेटिंग सिस्टम पर निर्भर करता है, न कि मॉडल प्रशिक्षण पर, जो कि एक संयोग होने की संभावना नहीं है।

खुला प्रश्न प्रवर्तन और अर्थशास्त्र का है। क्लाउडफ़ेयर व्यवहार और सिंक प्राथमिकताओं को वर्गीकृत कर सकता है, लेकिन प्रशिक्षण लाइसेंस की वित्तीय शर्तें प्रकाशकों और एआई कंपनियों के बीच एक निजी-बाज़ार का मामला बनी हुई हैं। इस सप्ताह जो परिवर्तन हुआ है वह अधिक सांसारिक और अधिक सार्थक है: एक साइट जो एआई प्रशिक्षण को ना कहती है वह अब खोज परिणामों में अपनी जगह का त्याग किए बिना ऐसा कर सकती है। रेफरल ट्रैफ़िक और प्रशिक्षण विवादों को एक ही समय में सामने आने वाले उद्योग के लिए, अलगाव को आने में काफी समय लग गया है।

---

एआई से आगे रहें

नवीनतम एआई समाचार, विश्लेषण और सफलताएँ प्राप्त करें - सभी एक ही स्थान पर।

अधिक AI समाचार पढ़ें →