सीबीसी न्यूज की एक रिपोर्ट के अनुसार, दुनिया भर में अकादमिक पुस्तकालय एआई डेटा-स्क्रैपिंग बॉट्स के निरंतर झुंड से लड़ रहे हैं जो उनकी वेबसाइटों को धीमा या क्रैश कर रहे हैं। बड़े भाषा मॉडलों के प्रशिक्षण के लिए सामग्री तैयार करने के लिए एआई कंपनियों और तृतीय-पक्ष सेवाओं द्वारा उपयोग किए जाने वाले बॉट, पूरे डिजिटल संग्रह को ऑफ़लाइन कर रहे हैं और पुस्तकालयों को खुली पहुंच और ऑनलाइन रहने के बीच चयन करने के लिए मजबूर कर रहे हैं।
लक्ष्य यादृच्छिक नहीं हैं. पुस्तकालय, संग्रहालय और अन्य सांस्कृतिक विरासत संस्थान बड़ी मात्रा में गुणवत्तापूर्ण, सत्यापित जानकारी रखते हैं जो आम तौर पर पेवॉल या लॉगिन के पीछे छिपी नहीं होती है - बिल्कुल उसी तरह का साफ, आधिकारिक पाठ जो एआई डेवलपर्स क्लाउड, जेमिनी और चैटजीपीटी जैसे प्रशिक्षण मॉडल के लिए पुरस्कार देते हैं। For more context on this story, see our ongoing more AI stories.
संग्रह ऑफ़लाइन हो गए
समस्या का दायरा इस हद तक बढ़ गया है कि संपूर्ण अभिलेख अप्राप्य हो गए हैं। सीबीसी रिपोर्ट में यूनिवर्सिटी ऑफ विक्टोरिया लाइब्रेरीज़ में संग्रह और डिजिटल बुनियादी ढांचे के निदेशक डीन सीमन ने कहा, "कभी-कभी बॉट ट्रैफ़िक इतना खराब हो जाता है कि इससे साइटें थोड़ी देर के लिए पूरी तरह से बंद हो जाती हैं।" उन्होंने आउटेज को सार्वजनिक पहुंच के लिए एक "वास्तविक समस्या" पैदा करने वाला बताया - जब एक लाइब्रेरी की साइट बॉट ट्रैफिक के तहत ध्वस्त हो जाती है, तो छात्रों, शोधकर्ताओं और आम नागरिकों को मशीनों के साथ लॉक कर दिया जाता है।
सैन जोस स्टेट यूनिवर्सिटी में, अनुभव निरंतर दबाव में से एक है। विश्वविद्यालय के कैटलॉगिंग और सरकारी दस्तावेज़ों के प्रमुख जिल स्ट्राइकोव्स्की ने कहा, "वे इंटरनेट पर मौजूद हैं, जितना संभव हो उतनी सामग्री हासिल करने की कोशिश में हम पर बमबारी कर रहे हैं।" उनकी संस्था सरकारी दस्तावेज़ों और अन्य सार्वजनिक सामग्रियों का डिजिटलीकरण करती है, जिससे यह कबाड़ियों के लिए एक प्रमुख चारागाह बन जाती है।
रिपोर्ट में एक स्कूल का वर्णन किया गया है जो एक ही दिन में फिनिश संगीत पर 11,000 से अधिक खोजों से अभिभूत हो गया था - कोई भी मानव श्रोता संभवतः ट्रैफ़िक उत्पन्न नहीं कर सकता था, और स्वचालित कटाई कार्यों के विशिष्ट संकीर्ण रूप से केंद्रित, उच्च-मात्रा वाले क्रॉलिंग का प्रकार।
एक समस्या जो बढ़ती ही जा रही है
इस घटना पर नज़र रखने वाले शोधकर्ताओं ने पाया कि इस तरह की आक्रामक स्क्रैपिंग की रिपोर्टें 2024 के अंत में उत्तरी अमेरिका, यूरोप और ओशिनिया में दिखाई देने लगीं और विशेषज्ञों ने सीबीसी न्यूज़ को बताया कि समस्या तब से बदतर होती जा रही है। जैसे-जैसे एआई कंपनियां उच्च-गुणवत्ता वाले प्रशिक्षण डेटा को सुरक्षित करने की होड़ में हैं - और जैसे-जैसे ओपन वेब के प्रकाशक तेजी से क्रॉलर्स को ब्लॉक कर रहे हैं - बिना सुरक्षा वाले, उच्च-गुणवत्ता वाले टेक्स्ट के पूल सिकुड़ते जा रहे हैं, और उन संस्थानों पर दबाव बढ़ता जा रहा है जो अपने संग्रह को बंद करने से इनकार करते हैं।
उस दबाव की एक कीमत होती है. स्ट्राइकोव्स्की ने कहा कि बॉट "डिजिटलीकरण का काम करने वाले हर संस्थान और जानकारी को खुले तौर पर उपलब्ध कराने की कोशिश करने वाले हर संस्थान के लिए अविश्वसनीय मात्रा में काम और सिरदर्द पैदा कर रहे हैं।" पुस्तकालयों को अब बॉट-फ़िल्टरिंग बुनियादी ढांचे को चलाना होगा, अपमानजनक क्रॉलर्स का पीछा करना होगा, और आउटेज को अवशोषित करना होगा - डिजिटलीकरण और पहुंच के बजाय रक्षा पर दुर्लभ बजट खर्च करना होगा।
एक निष्कर्षात्मक रिश्ता, आलोचकों का कहना है
तकनीकी बोझ से परे, इस प्रकरण ने एक परिचित आलोचना को पुनर्जीवित कर दिया है कि एआई कंपनियां सार्वजनिक-हित संस्थानों के साथ कैसा व्यवहार करती हैं। ओन्टारियो टेक यूनिवर्सिटी में भरोसेमंद आर्टिफिशियल इंटेलिजेंस में कनाडा के रिसर्च चेयर पीटर लुईस ने सीबीसी को बताया कि यह पैटर्न बड़ी निजी कंपनियों के समान है जो सामान्य-अच्छे संस्थानों का उपयोग "एक तरह से बहुत ही निष्कर्षण" करते हैं - यह मानते हुए कि सार्वजनिक सामग्री लेने के लिए मुफ़्त है, फिर इसका उपयोग अत्यधिक वाणिज्यिक मॉडल बनाने के लिए किया जाता है जो उसी जनता को वापस बेचा जाता है।
गतिशील गूँज एआई डेवलपर्स और समाचार प्रकाशकों, लेखकों और कलाकारों के बीच पहले के संघर्षों की प्रतिध्वनि है, लेकिन एक मोड़ के साथ: पुस्तकालयों में शायद ही कभी कानूनी विभाग या पेवॉल होते हैं। उनका अधिदेश सूचना को खुले तौर पर उपलब्ध कराना है, जो यातायात को अवरुद्ध करना - यहां तक कि शत्रुतापूर्ण यातायात - को उनके मिशन का सीधा विरोधाभास बनाता है।
अच्छे बॉट, बुरे बॉट, और आगे क्या आता है
सीबीसी रिपोर्ट में कहा गया है कि सभी स्वचालित ट्रैफ़िक शत्रुतापूर्ण नहीं हैं, और पुस्तकालय अच्छे व्यवहार वाले क्रॉलर के बीच अंतर करते हैं जो दर सीमा और robots.txt बहिष्करण का सम्मान करते हैं और बहुत कम विनम्र हार्वेस्टर अपने अभिलेखागार पर हमला करते हैं। कठिनाई पैमाने पर है: यहां तक कि व्यक्तिगत दर नियमों को पार करने के लिए अपमानजनक ट्रैफ़िक का एक छोटा सा हिस्सा भी कुचलने वाला हो जाता है जब हजारों ग्राहक समन्वय करते हैं या पहचान को घुमाते हैं।
संस्थान मिश्रित रणनीति के साथ जवाब दे रहे हैं - दर सीमित करना, बॉट फ़िंगरप्रिंटिंग, ज्ञात स्क्रैपर नेटवर्क को अवरुद्ध करना, और कुछ मामलों में हमलों के दौरान संग्रह को पूरी तरह ऑफ़लाइन ले जाना। इनमें से कोई भी मुफ़्त नहीं है, और ये सभी पुस्तकालयों द्वारा प्रदान की जाने वाली खुली पहुँच को ख़राब करते हैं।
विडंबना को नजरअंदाज करना कठिन है: वही संस्थान जिन्होंने मानवता के रिकॉर्ड किए गए ज्ञान को डिजिटल बनाने में दशकों बिताए ताकि कोई भी इसे मुफ्त में पढ़ सके, अब उन्हें अपने डिजिटल दरवाजे बंद करने के लिए मजबूर किया जा रहा है क्योंकि एआई सिस्टम एक ही बार में सब कुछ पढ़ना चाहते हैं। लाइब्रेरी, फंडर्स और एआई कंपनियां उस तनाव को कैसे हल करती हैं - चाहे लाइसेंसिंग सौदों, मुआवजा पहुंच, या सख्त तकनीकी प्रवर्तन के माध्यम से - यह आने वाले वर्षों के लिए प्रशिक्षण-डेटा-गुणवत्ता जानकारी के खुले वेब को आकार देगा।
फिलहाल, बीच में फंसे लोग पाठक हैं। जैसा कि विक्टोरिया विश्वविद्यालय में सीमैन के अनुभव से पता चलता है, बॉट झुंड के कारण होने वाली हर रुकावट सार्वजनिक पहुंच को अपने साथ ले जाती है।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
