OpenAI ने गुरुवारी जाहीर केले की ते robots.txt मधील सामायिक सिग्नलचा सन्मान करेल, फाइल वेबसाइट्स त्यांच्या सामग्रीमध्ये प्रवेश कसा केला जाऊ शकतो हे संप्रेषण करण्यासाठी वापरतात, जेणेकरून साइट ऑपरेटर प्रत्येक क्रॉलरसाठी स्वतंत्र नियम राखण्याऐवजी एकाच वेळी एकाधिक प्रदात्यांकडे एकल AI प्रशिक्षण प्राधान्य व्यक्त करू शकतात. दोन्ही कंपन्यांकडून एकाच दिवशी दत्तक घेण्याच्या घोषणांचे दस्तऐवजीकरण शोध इंजिन राऊंडटेबलसह, द व्हर्जच्या अहवालानुसार, Google आणि Microsoft देखील प्रयत्नांना समर्थन देत आहेत.

या हालचालीमुळे प्रकाशकांसाठी दीर्घकालीन वेदना बिंदू आहेत. आत्तापर्यंत, ज्या वेबसाइटला तिची सामग्री AI प्रशिक्षण पाइपलाइनपासून दूर ठेवायची होती, त्यांनी प्रत्येक AI क्रॉलरला स्वतंत्रपणे ओळखावे आणि प्रत्येक प्रदात्यासाठी स्वतंत्र नियम लिहावे लागतील, त्यानंतर नवीन क्रॉलर्स दिसू लागल्यावर ती यादी चालू ठेवावी. सामायिक सिग्नल त्या देखरेखीच्या ओझ्याला उद्देशाच्या एका ओळीत संकुचित करतो, ज्याचा आदर करण्यास सहभागी कंपन्या सहमत आहेत. For more context on this story, see our ongoing AI news.

OpenAI कशासाठी वचनबद्ध आहे

त्याच्या घोषणेमध्ये, OpenAI ने या प्रयत्नाचे स्वैच्छिक म्हणून वर्णन केले आणि सांगितले की येत्या काही महिन्यांत सिग्नलची अंमलबजावणी करण्याचे उद्दिष्ट आहे, अंमलबजावणीच्या तपशीलांसह नंतरच्या अपडेटमध्ये, Unite.AI च्या घोषणेच्या खात्यानुसार. कंपनीने म्हटले आहे की नवीन सिग्नल robots.txt द्वारे आधीच प्रदान केलेल्या नियंत्रणांची जागा घेणार नाही, जे लागू होत राहतील आणि त्यांचा आदर केला जाईल.

OpenAI ने इंटरनेट अभियांत्रिकी टास्क फोर्सच्या AI प्रेफरेंस वर्किंग ग्रुपच्या सुरू असलेल्या प्रयत्नांचे रेखाचित्र म्हणून काम तयार केले आहे, वेबसाइट्स त्यांची सामग्री AI सिस्टीममध्ये कशी वापरली जाते याबद्दल मशीन-वाचण्यायोग्य प्राधान्ये कशी व्यक्त करू शकतात हे परिभाषित करण्यासाठी कार्य करत असलेल्या मानक शरीर प्रयत्न. कंपनीने सांगितले की ती घोषणा करण्यासाठी इतर कार्यरत गटातील सहभागींमध्ये सामील होत आहे आणि इतर AI प्रदात्यांसाठी सिग्नलचा सन्मान करण्यासाठी प्रोत्साहित केले आहे.

Google आणि Microsoft साइन ऑन

घोषणेचे महत्त्व इतर कोणते मानक स्वीकारते यावर बरेच अवलंबून असते, आणि सुरुवातीच्या चिन्हे म्हणजे सर्वात मोठे खेळाडू आहेत. शोध इंजिन राउंडटेबलने गुरुवारी अहवाल दिला की Google ने नवीन AI प्रशिक्षण नियंत्रण स्वीकारले आहे आणि मायक्रोसॉफ्टच्या Bing ने त्याच्या AI शोध ग्राउंडिंग उत्पादनांशी कनेक्ट केलेल्या नवीन AI प्रशिक्षण नियंत्रणांची घोषणा करत स्वतंत्रपणे कव्हर केले आहे. The Verge ने अहवाल दिला की OpenAI, Google आणि Microsoft वेबसाइट्ससाठी नवीन मानकांना समर्थन देत आहेत, ज्यामुळे हे अशा प्रकारचे पहिले क्रॉस-इंडस्ट्री कन्व्हेन्शन बनले आहे ज्यांचे AI-संबंधित फेचिंग मोठ्या प्रमाणात क्रॉलर्सचा आहे.

तीन कंपन्यांनी अनुसरण केल्यास, वेबसाइट ऑपरेटर एकच प्रशिक्षण निवड रद्द करण्यास सक्षम असेल जो ChatGPT, Google ची AI उत्पादने आणि Microsoft च्या Copilot इकोसिस्टमच्या क्रॉलर्सना एकाच वेळी समजेल. सध्याच्या जगापेक्षा प्रकाशकांसाठी हे भौतिकदृष्ट्या सोपे जग आहे, जिथे प्रत्येक प्रदाता स्वतःचे क्रॉलर नावे आणि प्राधान्य टोकन दस्तऐवज करतो.

प्रकाशकांना हे का हवे होते

युनिफाइड सिग्नलसाठी पुश वर्षानुवर्षे तयार केला जात आहे कारण एआय प्रशिक्षण हे तंत्रज्ञान उद्योग आणि मॉडेल्सकडून शिकत असलेले लेखी रेकॉर्ड तयार करणारे लोक यांच्यात एक फ्लॅशपॉइंट बनले आहे. वृत्तसंस्थांनी, विशेषतः, तक्रार केली आहे की AI क्रॉलर्स त्यांचे रिपोर्टिंग मोठ्या प्रमाणावर स्क्रॅप करतात जेव्हा त्यांच्या जाहिराती-अनुदानित व्यवसाय मॉडेल्सचे नुकसान होते, आणि अनेक प्रकाशकांनी न्यायालयात गेले आहेत किंवा फायदा मिळवण्यासाठी परवाना सौद्यांवर स्वाक्षरी केली आहे.

अंतरिम उपाय वाढले आहेत. क्लाउडफ्लेअर, जे वेबच्या मोठ्या भागासमोर बसते, एक सेटिंग लाँच केली जी साइटना Google शोध दृश्यमानता न गमावता AI प्रशिक्षण क्रॉलर्सना अवरोधित करू देते, हा फरक महत्त्वाचा आहे कारण AI क्रॉलिंग आणि शोध अनुक्रमणिका ऐतिहासिकदृष्ट्या समान robots.txt नियमांद्वारे शासित होते. IETF च्या AI प्राधान्ये वर्किंग ग्रुपमध्ये स्टँडर्ड्सचे कार्य प्रोटोकॉल स्तरावर प्राधान्य अभिव्यक्ती औपचारिक करणे हे आहे.

प्रमुख AI प्रदात्यांद्वारे स्वीकारलेले सामायिक सिग्नल हे अद्याप सर्वात परिणामकारक पाऊल असेल, कारण ते विद्यमान robots.txt यंत्रणेद्वारे कार्य करते जे साइट ऑपरेटरना कसे वापरायचे हे आधीच माहित आहे.

अंमलबजावणी प्रश्न

मानक ऐच्छिक आहे आणि त्या शब्दाला वजन आहे. robots.txt प्राधान्याला स्वतःहून कायद्याचे कोणतेही बल नसते; हे केवळ त्या कंपन्यांनाच बंधनकारक आहे जे त्याचा सन्मान करण्यास सहमत आहेत आणि अनुपालन ऐतिहासिकदृष्ट्या प्रत्येक प्रदात्याच्या स्वतःच्या शोध आणि अंमलबजावणीवर अवलंबून आहे. ओपनएआयचे विधान की सध्याच्या robots.txt नियंत्रणांचा आदर केला जाईल हे नवीन शासनाऐवजी सातत्य सूचित करते आणि कंपनीने अद्याप अनुपालन कसे लागू केले जाईल किंवा ऑडिट केले जाईल याचे तांत्रिक तपशील प्रकाशित केलेले नाहीत.

घोषणेचे निराकरण होत नाही असे खुले प्रश्न देखील आहेत. हे पाहणे बाकी आहे की सिग्नलमध्ये फक्त प्रशिक्षण समाविष्ट आहे किंवा पुनर्प्राप्ती आणि ग्राउंडिंगपर्यंत विस्तारित आहे, ज्या प्रक्रियेद्वारे AI सिस्टम प्रश्नांची उत्तरे देण्यासाठी थेट वेब सामग्री आणतात. प्रकाशकांसाठी हा फरक महत्त्वाचा आहे कारण पुनर्प्राप्ती-आधारित उत्पादने ट्रॅफिक परत स्त्रोतांकडे आणू शकतात, तर प्रशिक्षण वापर करत नाही. शोध-इंजिन-व्यवस्थापित AI अनुभव सिग्नल विरुद्ध त्यांच्या सामान्य क्रॉलिंग नियमांशी कसे वागतात ते प्रकाशक दत्तक घेणे विजय किंवा अंजीर पान म्हणून पाहतात की नाही हे आकार देईल.

काय पहावे

पुढील टप्पे ठोस आहेत: OpenAI चे अंमलबजावणी अद्यतन, सहभागी कंपन्या प्रकाशित केलेले तांत्रिक तपशील आणि इतर महत्त्वपूर्ण AI प्रदाते - मोठ्या चीनी लॅब आणि स्वतंत्र अनुमान कंपन्यांसह - समर्थन जाहीर करतात. प्रकाशक आणि अधिकार धारक ऑडिट कथेसाठी सर्वात बारकाईने पाहत असतील, म्हणजेच ऑपरेटर त्यांच्या प्राधान्याचा मोठ्या प्रमाणावर आदर केला जात आहे हे सत्यापित करू शकतात की नाही.

मानक धारण केल्यास, गुरुवारची घोषणा लक्षात ठेवली जाऊ शकते कारण एआय प्रशिक्षण निवड रद्द करणे हे प्रति-कंपनी पॅचवर्क बनून थांबले आणि एक वेब-व्यापी अधिवेशन बनले. जर ते थांबले, तर ते स्वयंसेवी वेब मानकांच्या एका लांब पंक्तीमध्ये सामील होते ज्याचे उद्योगाने कौतुक केले आणि नंतर शांतपणे दुर्लक्ष केले.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →