वेब इन्फ्रास्ट्रक्चर कंपनी क्लाउडफ्लेअरने एक नवीन नियंत्रण सादर केले आहे जे वेबसाइट प्रकाशकांना त्यांची सामग्री पारंपारिक शोध परिणामांमध्ये पूर्णपणे उपलब्ध ठेवताना AI मॉडेल प्रशिक्षणासाठी वापरण्यापासून अवरोधित करू देते - एक डीकपलिंग ज्याला क्रॉलर इकोसिस्टमने यापूर्वी कधीही स्वच्छपणे समर्थन दिले नाही.

15 सप्टेंबर रोजी क्लाउडफ्लेअर ब्लॉगवर घोषित केलेले वैशिष्ट्य, क्रॉलर ऑपरेटरसाठी नवीन "जबाबदार" पदनामासह येते. क्लाउडफ्लेअरच्या मते, ॲपल, गुगल आणि मायक्रोसॉफ्ट या पहिल्या कंपन्या आहेत ज्यांचे क्रॉलर्स पात्र ठरतात. या वर्षी ब्रेकिंग एआय न्यूज ट्रॅक करणाऱ्या कोणालाही माहित आहे की प्रकाशित सामग्री कोणाला स्क्रॅप करायची हा प्रश्न इंटरनेटच्या सर्वात विवादित धोरण लढ्यांपैकी एक बनला आहे.

मिश्रित-वापर क्रॉलर समस्या

क्लाउडफ्लेअर मिक्स्ड-यूज क्रॉलर्स म्हणतो ही मुख्य समस्या आहे: एकल बॉट्स, जसे की Googlebot, Bingbot आणि Applebot, जे शोध अनुक्रमणिका तयार करण्यासाठी आणि AI मॉडेलसाठी प्रशिक्षण डेटा गोळा करण्यासाठी दोन्ही पृष्ठे आणतात. ऐतिहासिकदृष्ट्या, AI प्रशिक्षणातून बाहेर पडू इच्छिणाऱ्या साइट मालकाकडे एक बोथट इन्स्ट्रुमेंट होते — robots.txt disallow — आणि ते वापरल्याने शोध परिणामांमधून पूर्णपणे गायब होण्याचा धोका होता.

Cloudflare च्या नवीन Disallow AI ट्रेनिंग सेटिंगला साइटच्या robots.txt फाइलमध्ये प्रकाशित केलेल्या निर्देशासाठी नाव देण्यात आले आहे. सक्षम केल्यावर, साइटचे नो-ट्रेनिंग प्राधान्य robots.txt मध्ये समक्रमित केले जाते, शोध हेतूंसाठी जबाबदार मिश्र-वापर क्रॉलर्सना अनुमती असते आणि इतर प्रत्येक प्रशिक्षण क्रॉलर अवरोधित केला जातो. क्लाउडफ्लेअर नोंदवते की केवळ-प्रशिक्षण क्रॉलर्सना अवरोधित करणे — ते Amazon, Anthropic, Meta आणि OpenAI द्वारे चालवल्या जाणाऱ्या प्रशिक्षण क्रॉलर्सना नाव देते — प्रथम स्थानावर शोधावर कधीही परिणाम झाला नाही.

काय क्रॉलर 'जबाबदार' बनवते

उत्तरदायित्व प्राप्त करण्यासाठी, बॉट ऑपरेटरने ब्लॉग पोस्टमध्ये नमूद केलेल्या आवश्यकतांची पूर्तता करणे आवश्यक आहे किंवा ते पूर्ण करण्यासाठी वचनबद्ध असणे आवश्यक आहे:

  • साइट मालकांसाठी robots.txt किंवा तत्सम मानकांद्वारे AI प्रशिक्षणाची निवड रद्द करण्याची यंत्रणा
  • AI सारांशमधून बाहेर पडण्याची एक यंत्रणा, थेट ऑपरेटरशी सेट केली जाईल आणि पुढील वर्षी क्लाउडफ्लेअरद्वारे
  • URL-स्तर दृश्यमानता ज्यामध्ये पृष्ठे प्रशिक्षणासाठी उपलब्ध केली गेली होती, तसेच शोधात सामग्री कशी दिसली हे दर्शविणारे मेट्रिक्स
  • एआय प्रशिक्षणाची निवड रद्द केल्याने पारंपारिक शोध क्रमवारीवर परिणाम होणार नाही याची खात्री

क्लाउडफ्लेअर म्हणते की Apple, Google आणि मायक्रोसॉफ्ट सध्या हे दाखवून देतात की ते पात्रता पूर्ण करतात, आज उपलब्ध असलेल्या क्षमतांना अद्याप विकासात असलेल्या वैशिष्ट्यांसाठी कालबद्ध वचनबद्धतेसह एकत्रित करते.

नवीन सेटिंग्ज, कालबाह्य साधने

बदल क्लाउडफ्लेअरच्या बॉट मॅनेजमेंट कंट्रोल्सवर पुन्हा काम करतो, जे आता क्रॉलर ट्रॅफिकचे तीन वर्तनांमध्ये वर्गीकरण करतात: शोध, प्रशिक्षण आणि एजंट. ॲलॉव एआय ट्रेनिंग जोडल्यानंतर, अनुमती द्या, एआय ट्रेनिंग नाकारणे, जाहिरातींसह पृष्ठांवर ब्लॉक करा आणि ब्लॉक करा अशी उपलब्ध सेटिंग्ज आहेत.

दोन प्रदीर्घ अवस्थेतील साधने नापसंत केली जात आहेत. विस्तृत "ब्लॉक एआय बॉट्स" पर्याय अधिक बारीक शोध, प्रशिक्षण आणि एजंट नियंत्रणांना मार्ग देतो आणि व्यवस्थापित Robots.txt ची जागा Bot Preference Sync नावाच्या प्रणालीद्वारे घेतली जाते, विद्यमान ग्राहक आपोआप स्थलांतरित होतात. काही नवीन डोमेनसाठी AI प्रशिक्षण नाकारणे देखील Cloudflare च्या शिफारस केलेल्या कॉन्फिगरेशनचा भाग बनेल.

सर्वात परिणामकारक स्विच ब्लॉक सेटिंगशी संबंधित आहे. पूर्वी, ब्लॉक करा आणि "जाहिरातींसह पृष्ठांवर अवरोधित करा" मिश्र-वापर करणाऱ्या क्रॉलर्सना लागू होत नव्हते, कारण त्यांना अवरोधित केल्याने शोध शोधण्यायोग्यता खराब होऊ शकते. 15 सप्टेंबरपर्यंत, त्या सेटिंग्ज आता Applebot, Bingbot आणि Googlebot यासह सर्व प्रशिक्षण क्रॉलर्सना लागू होतात — म्हणजे ब्लॉक निवडणारी साइट आता त्या निवडीचे शोध-रँकिंग परिणाम स्वीकारते.

एजंटांसाठी 'नाकार' नाही — अद्याप

एक अंतर शिल्लक आहे. Cloudflare च्या एजंट श्रेणीमध्ये वापरकर्ता-निर्देशित एजंट्स समाविष्ट आहेत, जसे की ब्राउझर-वापर एजंट आणि चॅट फेच बॉट्स, एखाद्या व्यक्तीच्या वतीने पृष्ठास भेट देणे. कंपनी लिहिते की एजंट मिश्र-वापर क्रॉलर्स सारखे शोध-शोधन ट्रेडऑफ तयार करत नाहीत आणि इंटरनेटमध्ये एजंटना परवानगी नसलेली प्राधान्ये व्यक्त करण्यासाठी सुस्थापित निर्देशांचा अभाव आहे. एजंट्ससाठी सध्या कोणतेही डिसॅलो सेटिंग नाही, जरी क्लाउडफ्लेअर म्हणते की ते ai-prefs सारखी मानके परिपक्व झाल्यामुळे त्या दृष्टीकोनाला पुन्हा भेट देतील.

हे प्रकाशकांसाठी महत्त्वाचे का आहे

वृत्त संस्था आणि सामग्री साइट्ससाठी, प्रकाशन उद्योग आणि AI विकासक यांच्यातील स्टँडऑफमधील कार्यक्षम मध्यम मार्गासाठी घोषणा ही सर्वात जवळची गोष्ट आहे. प्रकाशकांनी असा युक्तिवाद केला आहे की त्यांच्या कामावर पैसे किंवा परवानगीशिवाय प्रशिक्षण देणे म्हणजे उतारा आहे; AI कंपन्यांनी असा युक्तिवाद केला आहे की क्रॉलिंग ही मानक सराव आहे आणि robots.txt कधीही AI-युगातील फरकांसाठी डिझाइन केलेले नव्हते.

प्रशिक्षण वापरापासून शोध अनुक्रमणिका वेगळे करणाऱ्या क्रॉलर्ससाठी पदनाम औपचारिक करून — आणि डीफॉल्ट नियंत्रणांद्वारे त्याची अंमलबजावणी करून — क्लाउडफ्लेअर प्रभावीपणे AI लॅब आणि प्लॅटफॉर्म कंपन्यांना प्रकाशक-अनुकूल अटींवर स्पर्धा करण्यास सांगत आहे. तीन संस्थापक अकाउंटेबल ऑपरेटर अशा कंपन्या आहेत ज्यांचे मुख्य व्यवसाय शोध आणि ऑपरेटिंग सिस्टमवर अवलंबून आहेत, मॉडेल ट्रेनिंगवर नाही, जो योगायोग असण्याची शक्यता नाही.

खुला प्रश्न अंमलबजावणी आणि अर्थशास्त्राचा आहे. क्लाउडफ्लेअर वर्तन आणि समक्रमण प्राधान्यांचे वर्गीकरण करू शकते, परंतु प्रशिक्षण परवान्यांच्या आर्थिक अटी प्रकाशक आणि एआय कंपन्यांमधील खाजगी-बाजारातील बाब राहतील. या आठवड्यात जे बदल होतात ते अधिक सांसारिक आणि अधिक अर्थपूर्ण आहे: AI प्रशिक्षणाला नाही म्हणणारी साइट आता शोध परिणामांमध्ये तिचे स्थान न सोडता असे करू शकते. रेफरल ट्रॅफिक आणि प्रशिक्षण विवाद एकाच वेळी उलगडत पाहणाऱ्या उद्योगासाठी, ते वेगळे होण्यास बराच काळ लोटला आहे.

---

एआयच्या पुढे राहा

नवीनतम AI बातम्या, विश्लेषण आणि यश मिळवा — सर्व एकाच ठिकाणी.

अधिक AI बातम्या वाचा →