OpenAI ने गुरुवार को घोषणा की कि वह robots.txt में एक साझा सिग्नल का सम्मान करेगा, फ़ाइल वेबसाइटें यह बताने के लिए उपयोग करती हैं कि उनकी सामग्री तक कैसे पहुंचा जा सकता है, ताकि साइट ऑपरेटर प्रत्येक क्रॉलर के लिए अलग-अलग नियम बनाए रखने के बजाय एक ही बार में कई प्रदाताओं को एकल AI प्रशिक्षण प्राथमिकता व्यक्त कर सकें। द वर्ज की रिपोर्ट के अनुसार, Google और Microsoft भी इस प्रयास का समर्थन कर रहे हैं, जिसमें सर्च इंजन राउंडटेबल एक ही दिन में दोनों कंपनियों की गोद लेने की घोषणाओं का दस्तावेजीकरण कर रहा है।
यह कदम प्रकाशकों के लिए लंबे समय से चली आ रही परेशानी को दूर करता है। अब तक, एक वेबसाइट जो अपनी सामग्री को एआई प्रशिक्षण पाइपलाइनों से बाहर रखना चाहती थी, उसे प्रत्येक एआई क्रॉलर को व्यक्तिगत रूप से पहचानना पड़ता था और प्रत्येक प्रदाता के लिए अलग-अलग नियम लिखना पड़ता था, फिर नए क्रॉलर दिखाई देने पर उस सूची को चालू रखना पड़ता था। एक साझा सिग्नल उस रखरखाव के बोझ को इरादे की एक पंक्ति में ढहा देता है, जिसका सम्मान करने के लिए भाग लेने वाली कंपनियां सहमत होती हैं। For more context on this story, see our ongoing artificial intelligence updates.
OpenAI किसके लिए प्रतिबद्ध है
अपनी घोषणा में, OpenAI ने इस प्रयास को स्वैच्छिक बताया और कहा कि इसका लक्ष्य आने वाले महीनों में सिग्नल को लागू करना है, यूनाइट.एआई की घोषणा के अनुसार कार्यान्वयन विवरण बाद के अपडेट में दिए जाएंगे। कंपनी ने कहा कि नया सिग्नल robots.txt के माध्यम से पहले से उपलब्ध कराए गए नियंत्रणों को प्रतिस्थापित नहीं करेगा, जो लागू होते रहेंगे और सम्मानित होते रहेंगे।
ओपनएआई ने इंटरनेट इंजीनियरिंग टास्क फोर्स के एआई प्रेफरेंस वर्किंग ग्रुप के चल रहे प्रयासों को ध्यान में रखते हुए इस काम को तैयार किया, मानक निकाय प्रयास जो यह परिभाषित करने के लिए काम कर रहा है कि वेबसाइटें मशीन-पठनीय प्राथमिकताओं को कैसे व्यक्त कर सकती हैं कि एआई सिस्टम में उनकी सामग्री का उपयोग कैसे किया जाता है। कंपनी ने कहा कि वह घोषणा करने में अन्य कार्य समूह प्रतिभागियों के साथ शामिल हो रही है और अन्य एआई प्रदाताओं को भी सिग्नल का सम्मान करने के लिए प्रोत्साहित किया है।
गूगल और माइक्रोसॉफ्ट साइन ऑन करें
घोषणा का महत्व काफी हद तक इस बात पर निर्भर करता है कि मानक को और कौन अपनाता है, और शुरुआती संकेत यह हैं कि सबसे बड़े खिलाड़ी इसमें शामिल हैं। सर्च इंजन राउंडटेबल ने गुरुवार को रिपोर्ट दी कि Google ने नए एआई प्रशिक्षण नियंत्रण को अपनाया है, और माइक्रोसॉफ्ट के बिंग को अलग से कवर किया है, जो अपने एआई सर्च ग्राउंडिंग उत्पादों से जुड़े नए एआई प्रशिक्षण नियंत्रणों की घोषणा कर रहा है। द वर्ज ने बताया कि ओपनएआई, गूगल और माइक्रोसॉफ्ट वेबसाइटों के लिए नए मानक का समर्थन कर रहे हैं, जो इसे उन कंपनियों द्वारा समर्थित अपनी तरह का पहला क्रॉस-इंडस्ट्री सम्मेलन बना देगा जिनके क्रॉलर एआई-संबंधित फ़ेचिंग के लिए जिम्मेदार हैं।
यदि तीन कंपनियां इसका पालन करती हैं, तो एक वेबसाइट ऑपरेटर एक एकल प्रशिक्षण ऑप्ट-आउट सेट करने में सक्षम होगा जिसे चैटजीपीटी, Google के एआई उत्पादों और माइक्रोसॉफ्ट के कोपायलट पारिस्थितिकी तंत्र के पीछे के क्रॉलर एक साथ समझते हैं। यह मौजूदा दुनिया की तुलना में प्रकाशकों के लिए एक भौतिक रूप से सरल दुनिया है, जहां प्रत्येक प्रदाता अपने स्वयं के क्रॉलर नाम और वरीयता टोकन का दस्तावेजीकरण करता है।
प्रकाशक ऐसा क्यों चाहते थे
एकीकृत सिग्नल के लिए दबाव वर्षों से बन रहा है क्योंकि एआई प्रशिक्षण प्रौद्योगिकी उद्योग और उन लोगों के बीच एक फ्लैशप्वाइंट बन गया है जो लिखित रिकॉर्ड तैयार करते हैं जिनसे मॉडल सीखते हैं। विशेष रूप से, समाचार संगठनों ने शिकायत की है कि एआई क्रॉलर बड़े पैमाने पर उनकी रिपोर्टिंग को खत्म कर देते हैं, जबकि उनके विज्ञापन-वित्त पोषित व्यवसाय मॉडल खराब हो जाते हैं, और कई प्रकाशक अदालत में चले गए हैं या उत्तोलन को पुनः प्राप्त करने के लिए लाइसेंसिंग सौदों पर हस्ताक्षर किए हैं।
अंतरिम समाधानों का प्रसार हुआ है। क्लाउडफ्लेयर, जो वेब के एक बड़े हिस्से के सामने बैठता है, ने एक सेटिंग लॉन्च की है जो साइटों को Google खोज दृश्यता खोए बिना एआई प्रशिक्षण क्रॉलर को ब्लॉक करने देती है, एक अंतर जो मायने रखता है क्योंकि एआई क्रॉलिंग और खोज अनुक्रमण ऐतिहासिक रूप से समान robots.txt नियमों द्वारा शासित होते थे। आईईटीएफ के एआई प्रेफरेंस वर्किंग ग्रुप के अंदर मानक कार्य का उद्देश्य प्रोटोकॉल स्तर पर वरीयता अभिव्यक्ति को औपचारिक बनाना है।
प्रमुख एआई प्रदाताओं द्वारा अपनाया गया एक साझा सिग्नल अब तक का सबसे परिणामी कदम होगा, क्योंकि यह मौजूदा robots.txt तंत्र के माध्यम से काम करता है जिसे साइट ऑपरेटर पहले से ही उपयोग करना जानते हैं।
प्रवर्तन प्रश्न
मानक स्वैच्छिक है, और यह शब्द महत्व रखता है। robots.txt प्राथमिकता में अपने आप में कोई क़ानूनी शक्ति नहीं होती; यह केवल उन कंपनियों को बाध्य करता है जो इसका सम्मान करने के लिए सहमत हैं, और अनुपालन ऐतिहासिक रूप से प्रत्येक प्रदाता की स्वयं की पहचान और प्रवर्तन पर निर्भर रहा है। OpenAI का यह कथन कि उसके मौजूदा robots.txt नियंत्रणों का सम्मान जारी रहेगा, एक नई व्यवस्था के बजाय निरंतरता का सुझाव देता है, और कंपनी ने अभी तक इस बात का तकनीकी विवरण प्रकाशित नहीं किया है कि अनुपालन कैसे लागू किया जाएगा या ऑडिट किया जाएगा।
ऐसे खुले प्रश्न भी हैं जिनका समाधान घोषणा से नहीं होता। यह देखा जाना बाकी है कि क्या सिग्नल केवल प्रशिक्षण को कवर करता है, या पुनर्प्राप्ति और ग्राउंडिंग तक विस्तारित होता है, वे प्रक्रियाएं जिनके द्वारा एआई सिस्टम सवालों के जवाब देने के लिए लाइव वेब सामग्री लाते हैं। प्रकाशकों के लिए अंतर मायने रखता है क्योंकि पुनर्प्राप्ति-आधारित उत्पाद ट्रैफ़िक को स्रोतों पर वापस ला सकते हैं, जबकि प्रशिक्षण उपयोग ऐसा नहीं करता है। खोज-इंजन-प्रबंधित एआई अनुभव सिग्नल के साथ उनके सामान्य क्रॉलिंग नियमों की तुलना में कैसे व्यवहार करते हैं, यह तय करेगा कि प्रकाशक गोद लेने को जीत के रूप में देखते हैं या अंजीर के पत्ते के रूप में।
क्या देखना है
अगले मील के पत्थर ठोस हैं: ओपनएआई का कार्यान्वयन अद्यतन, भाग लेने वाली कंपनियों द्वारा प्रकाशित तकनीकी विनिर्देश, और क्या अन्य महत्वपूर्ण एआई प्रदाता - जिनमें बड़ी चीनी प्रयोगशालाएं और स्वतंत्र अनुमान कंपनियां शामिल हैं - समर्थन की घोषणा करते हैं। प्रकाशक और अधिकार धारक ऑडिट स्टोरी पर सबसे अधिक बारीकी से नजर रखेंगे, यानी कि क्या ऑपरेटर यह सत्यापित कर सकते हैं कि उनकी प्राथमिकता का वास्तव में बड़े पैमाने पर सम्मान किया जा रहा है।
यदि मानक कायम है, तो गुरुवार की घोषणा को उस क्षण के रूप में याद किया जा सकता है जब एआई प्रशिक्षण ऑप्ट-आउट प्रति-कंपनी पैचवर्क होना बंद हो गया और एक वेब-वाइड सम्मेलन बन गया। यदि यह रुक जाता है, तो यह स्वैच्छिक वेब मानकों की एक लंबी कतार में शामिल हो जाता है जिसकी उद्योग ने सराहना की और फिर चुपचाप नजरअंदाज कर दिया।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
