CBC न्यूजच्या अहवालानुसार जगभरातील शैक्षणिक लायब्ररी AI डेटा-स्क्रॅपिंग बॉट्सच्या अथक झुंडींशी लढत आहेत जे त्यांच्या वेबसाइट्स मंद किंवा क्रॅश करत आहेत. AI कंपन्या आणि तृतीय-पक्ष सेवांद्वारे मोठ्या भाषेच्या मॉडेल्सना प्रशिक्षण देण्यासाठी वापरल्या जाणाऱ्या बॉट्स, संपूर्ण डिजिटल कलेक्शन ऑफलाइन ठोठावत आहेत आणि लायब्ररींना मुक्त प्रवेश आणि ऑनलाइन राहणे यापैकी एक निवडण्यास भाग पाडत आहेत.
लक्ष्य यादृच्छिक नाहीत. लायब्ररी, संग्रहालये आणि इतर सांस्कृतिक वारसा संस्थांमध्ये मोठ्या प्रमाणात दर्जेदार, तपासलेली माहिती असते जी सामान्यत: पेवॉल किंवा लॉगिनच्या मागे लपलेली नसते — क्लॉड, जेमिनी आणि ChatGPT सारख्या प्रशिक्षण मॉडेलसाठी AI डेव्हलपर बक्षीस देतात तसाच स्वच्छ, अधिकृत मजकूर. For more context on this story, see our ongoing AI trends.
संग्रह ऑफलाइन नॉक केले
समस्येचे प्रमाण इतके वाढले आहे की संपूर्ण संग्रहण दुर्गम झाले आहेत. "कधीकधी बॉट ट्रॅफिक इतका खराब होतो की त्यामुळे साइट काही काळासाठी पूर्णपणे खाली जातात," डीन सीमन, व्हिक्टोरिया लायब्ररी विद्यापीठातील संग्रह आणि डिजिटल इन्फ्रास्ट्रक्चरचे संचालक, सीबीसी अहवालात म्हणाले. त्यांनी आउटेजेसचे वर्णन सार्वजनिक प्रवेशासाठी "वास्तविक समस्या" निर्माण केले आहे - जेव्हा लायब्ररीची साइट बॉट ट्रॅफिक अंतर्गत कोसळते, तेव्हा विद्यार्थी, संशोधक आणि सामान्य नागरिक मशीनसह लॉकआउट होतात.
सॅन जोस स्टेट युनिव्हर्सिटीमध्ये, अनुभव हा सतत दबाव असतो. विद्यापीठाच्या कॅटलॉगिंग आणि सरकारी दस्तऐवजांचे नेतृत्व करणाऱ्या जिल स्ट्रायकोव्स्की यांनी सांगितले की, "ते फक्त इंटरनेटवर आहेत, शक्य तितके साहित्य हस्तगत करण्याचा प्रयत्न करत आमच्यावर भडिमार करत आहेत." तिची संस्था सरकारी दस्तऐवज आणि इतर सार्वजनिक साहित्य डिजिटायझेशन करते, ज्यामुळे ते स्क्रॅपर्ससाठी एक प्रमुख आहार बनते.
अहवालात एका शाळेचे वर्णन केले आहे जे एका दिवसात फिन्निश संगीतावर 11,000 हून अधिक शोधांनी भारावून गेले होते — रहदारी कोणताही मानवी प्रेक्षक वाजवीपणे निर्माण करू शकत नाही आणि स्वयंचलित कापणी ऑपरेशन्सचे वैशिष्ट्यपूर्णपणे लक्ष केंद्रित केलेले, उच्च-व्हॉल्यूम क्रॉलिंगचे प्रकार.
एक समस्या जी सतत वाढत आहे
या घटनेचा मागोवा घेणाऱ्या संशोधकांना असे आढळून आले की उत्तर अमेरिका, युरोप आणि ओशनियामध्ये या प्रकारच्या आक्रमक स्क्रॅपिंगचे अहवाल 2024 च्या उत्तरार्धात दिसू लागले आणि तज्ञांनी CBC न्यूजला सांगितले की, तेव्हापासून समस्या वाढतच चालली आहे. AI कंपन्या उच्च-गुणवत्तेचा प्रशिक्षण डेटा सुरक्षित करण्यासाठी शर्यत लावत असताना — आणि ओपन वेबचे प्रकाशक क्रॉलर्सना अधिकाधिक ब्लॉक करत आहेत — असुरक्षित, उच्च-गुणवत्तेचा मजकूर संकुचित होत आहे आणि त्यांचे संकलन लॉक करण्यास नकार देणाऱ्या संस्थांवरील दबाव वाढतच आहे.
त्या दबावाची किंमत असते. स्ट्रायकोव्स्की म्हणाले की बॉट्स "डिजिटायझेशनचे काम करणाऱ्या प्रत्येक संस्थेसाठी आणि माहिती उघडपणे उपलब्ध करून देण्याचा प्रयत्न करणाऱ्या प्रत्येक संस्थेसाठी अविश्वसनीय प्रमाणात काम आणि डोकेदुखी निर्माण करत आहेत." लायब्ररींनी आता बॉट-फिल्टरिंग इन्फ्रास्ट्रक्चर चालवणे, अपमानास्पद क्रॉलर्सचा पाठलाग करणे आणि आउटेज शोषून घेणे आवश्यक आहे - डिजिटायझेशन आणि ऍक्सेस ऐवजी संरक्षणावर कमी बजेट खर्च करणे.
एक उत्तेजक नाते, समीक्षक म्हणतात
तांत्रिक ओझ्यापलीकडे, एपिसोडने AI कंपन्या सार्वजनिक-हित संस्थांशी कसे वागतात यावर एक परिचित टीका पुनरुज्जीवित केली आहे. पीटर लुईस, ओंटारियो टेक युनिव्हर्सिटीमधील ट्रस्टवर्थी आर्टिफिशियल इंटेलिजेंसमधील कॅनडा रिसर्च चेअर यांनी CBC ला सांगितले की पॅटर्न मोठ्या खाजगी कंपन्यांचा आहे ज्यांचा वापर सामान्य-चांगल्या संस्थांचा "अत्यंत उत्कर्षपूर्ण पद्धतीने" वापर करतात — सार्वजनिक साहित्य घेण्यास विनामूल्य आहे असे गृहीत धरून, नंतर त्याच लोकांना परत विकले जाणारे उच्च व्यावसायिक मॉडेल तयार करण्यासाठी वापरणे.
डायनॅमिक एआय डेव्हलपर आणि वृत्त प्रकाशक, लेखक आणि कलाकार यांच्यातील पूर्वीच्या संघर्षाचे प्रतिध्वनी करते, परंतु एक वळण घेऊन: लायब्ररींमध्ये क्वचितच कायदेशीर विभाग किंवा पेवॉल परत येतात. माहिती उघडपणे उपलब्ध करून देणे हे त्यांचे आदेश आहे, ज्यामुळे रहदारीला अडथळा निर्माण होतो — अगदी प्रतिकूल रहदारी — त्यांच्या ध्येयाचा थेट विरोधाभास.
चांगले बॉट्स, वाईट बॉट्स आणि पुढे काय होते
CBC अहवालात असे नमूद केले आहे की सर्व स्वयंचलित रहदारी प्रतिकूल नसते आणि लायब्ररी चांगल्या वर्तणुकीतील क्रॉलर्समध्ये फरक करतात जे दर मर्यादा आणि robots.txt बहिष्कारांचा आदर करतात आणि त्यांच्या संग्रहणांना हातोडा मारणारे कमी विनम्र कापणी करतात. अडचण स्केल आहे: जेव्हा हजारो क्लायंट ओळखींचे समन्वय साधतात किंवा फिरवतात तेव्हा भूतकाळातील वैयक्तिक दरांचे नियम सरकवण्याइतपत अपमानास्पद ट्रॅफिकचा एक भाग देखील क्रश होतो.
संस्था रणनीतींच्या मिश्रणासह प्रतिसाद देत आहेत — दर मर्यादित करणे, बॉट फिंगरप्रिंटिंग, ज्ञात स्क्रॅपर नेटवर्क अवरोधित करणे आणि काही प्रकरणांमध्ये हल्ल्यांच्या वेळी संपूर्णपणे ऑफलाइन संग्रह घेणे. यापैकी काहीही विनामूल्य नाही, आणि ते सर्व लायब्ररी प्रदान करण्यासाठी अस्तित्वात असलेल्या खुल्या प्रवेशाला कमी करतात.
विडंबना चुकवणे कठीण आहे: ज्या संस्थांनी मानवतेचे रेकॉर्ड केलेले ज्ञान डिजिटायझेशन करण्यासाठी दशके घालवली जेणेकरून कोणीही ते विनामूल्य वाचू शकेल, त्यांना आता त्यांचे डिजिटल दरवाजे बंद करण्यास भाग पाडले जात आहे कारण एआय सिस्टमला सर्व काही एकाच वेळी वाचायचे आहे. लायब्ररी, फंडर्स आणि AI कंपन्या त्या तणावाचे निराकरण कसे करतात — मग ते परवाना देण्याच्या कराराद्वारे, नुकसानभरपाईद्वारे किंवा कठोर तांत्रिक अंमलबजावणीद्वारे — प्रशिक्षण-डेटा-गुणवत्तेच्या माहितीचे खुले वेब येत्या काही वर्षांसाठी कसे दिसेल.
तूर्तास, मध्यभागी पकडलेले लोक वाचक आहेत. व्हिक्टोरिया विद्यापीठातील सीमनचा अनुभव दर्शवितो की, बॉटच्या झुंडीमुळे होणारा प्रत्येक आउटेज त्याच्यासह सार्वजनिक प्रवेश घेतो.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
