সিবিসি নিউজের একটি প্রতিবেদনে বলা হয়েছে, বিশ্বজুড়ে একাডেমিক লাইব্রেরিগুলি AI ডেটা-স্ক্র্যাপিং বটগুলির নিরলস ঝাঁকগুলির বিরুদ্ধে লড়াই করছে যা তাদের ওয়েবসাইটগুলিকে ধীর বা ক্র্যাশ করছে৷ বৃহৎ ভাষার মডেলের প্রশিক্ষণের জন্য সামগ্রী সংগ্রহের জন্য এআই কোম্পানিগুলি এবং তৃতীয় পক্ষের পরিষেবাগুলির দ্বারা ব্যবহৃত বটগুলি অফলাইনে সম্পূর্ণ ডিজিটাল সংগ্রহগুলি নক করছে এবং লাইব্রেরিগুলিকে ওপেন অ্যাক্সেস এবং মোটেও অনলাইনে থাকার মধ্যে বেছে নিতে বাধ্য করছে৷
লক্ষ্যগুলি এলোমেলো নয়। লাইব্রেরি, জাদুঘর এবং অন্যান্য সাংস্কৃতিক ঐতিহ্য প্রতিষ্ঠানে প্রচুর পরিমাণে মানসম্পন্ন, যাচাইকৃত তথ্য রয়েছে যা সাধারণত পেওয়াল বা লগইনের পিছনে লুকানো থাকে না — ঠিক সেই ধরনের পরিষ্কার, প্রামাণিক পাঠ্য যা AI ডেভেলপাররা Claude, Gemini এবং ChatGPT-এর মতো প্রশিক্ষণ মডেলের জন্য পুরস্কার দেয়। For more context on this story, see our ongoing AI industry coverage.
সংগ্রহ অফলাইনে নক করা হয়েছে
সমস্যার স্কেল এমন জায়গায় বেড়েছে যেখানে পুরো আর্কাইভগুলি অ্যাক্সেসযোগ্য নয়৷ "কখনও কখনও বট ট্র্যাফিক এতটাই খারাপ হয়ে যায় যে এটি কিছু সময়ের জন্য সাইটগুলিকে সম্পূর্ণরূপে নিচে চলে যায়," সিবিসি রিপোর্টে ইউনিভার্সিটি অফ ভিক্টোরিয়া লাইব্রেরির সংগ্রহ ও ডিজিটাল অবকাঠামোর ডিরেক্টর ডিন সিম্যান বলেছেন৷ তিনি বিভ্রাটকে জনসাধারণের অ্যাক্সেসের জন্য একটি "প্রকৃত সমস্যা" তৈরি হিসাবে বর্ণনা করেছেন — যখন একটি লাইব্রেরির সাইট বট ট্র্যাফিকের অধীনে ধসে পড়ে, তখন ছাত্র, গবেষক এবং সাধারণ নাগরিকরা মেশিনের সাথে একত্রে তালাবদ্ধ হয়ে যায়।
সান জোসে স্টেট ইউনিভার্সিটিতে, অভিজ্ঞতা একটি ধ্রুবক চাপ। "তারা ইন্টারনেটের বাইরেই আছে, যতটা সম্ভব উপাদান হাতিয়ে নেওয়ার চেষ্টা করে আমাদের উপর বোমাবর্ষণ করছে," জিল স্ট্রাইকোস্কি বলেছেন, বিশ্ববিদ্যালয়ের ক্যাটালগিং এবং সরকারী নথির নেতৃত্ব দিচ্ছেন। তার প্রতিষ্ঠান সরকারী নথিপত্র এবং অন্যান্য পাবলিক সামগ্রীকে ডিজিটাইজ করে, এটিকে স্ক্র্যাপারদের জন্য একটি প্রধান খাবারের জায়গা করে তোলে।
রিপোর্টে এমন একটি স্কুলের বর্ণনা দেওয়া হয়েছে যেটি এক দিনে ফিনিশ সঙ্গীতে 11,000 টিরও বেশি অনুসন্ধান দ্বারা অভিভূত হয়েছিল — ট্র্যাফিক কোন মানব শ্রোতারা প্রশংসনীয়ভাবে তৈরি করতে পারে না, এবং স্বয়ংক্রিয় ফসল কাটার ক্রিয়াকলাপের জন্য সংকীর্ণভাবে ফোকাসড, উচ্চ-ভলিউম ক্রলিং বৈশিষ্ট্য।
একটি সমস্যা যা বাড়তে থাকে
ঘটনাটি পর্যবেক্ষণকারী গবেষকরা দেখতে পেয়েছেন যে উত্তর আমেরিকা, ইউরোপ এবং ওশেনিয়া জুড়ে 2024 সালের শেষের দিকে এই ধরণের আক্রমনাত্মক স্ক্র্যাপিংয়ের প্রতিবেদনগুলি উপস্থিত হতে শুরু করেছিল এবং বিশেষজ্ঞরা সিবিসি নিউজকে বলেছিলেন যে তারপর থেকে সমস্যাটি আরও খারাপ হতে চলেছে। যেহেতু AI কোম্পানিগুলি উচ্চ-মানের প্রশিক্ষণের ডেটা সুরক্ষিত করার জন্য প্রতিযোগিতা করছে — এবং ওপেন ওয়েবের প্রকাশকরা ক্রলারদের ক্রমবর্ধমানভাবে ব্লক করছে — অরক্ষিত, উচ্চ-মানের পাঠ্যের পুল সঙ্কুচিত হতে চলেছে, এবং যে প্রতিষ্ঠানগুলি তাদের সংগ্রহ লক ডাউন করতে অস্বীকার করে তাদের উপর চাপ বাড়তে থাকে।
সেই চাপের একটা দাম আছে। স্ট্রাইকোস্কি বলেছিলেন যে বটগুলি "ডিজিটাইজেশনের কাজ করে এমন প্রতিটি প্রতিষ্ঠান এবং যে সমস্ত প্রতিষ্ঠান খোলাখুলিভাবে তথ্য উপলব্ধ করার চেষ্টা করছে তাদের জন্য অবিশ্বাস্য পরিমাণে কাজ এবং মাথাব্যথা সৃষ্টি করছে।" লাইব্রেরিগুলিকে এখন বট-ফিল্টারিং অবকাঠামো চালাতে হবে, অপমানজনক ক্রলারদের তাড়া করতে হবে এবং বিভ্রাট শোষণ করতে হবে — ডিজিটাইজেশন এবং অ্যাক্সেসের পরিবর্তে প্রতিরক্ষার জন্য দুর্লভ বাজেট ব্যয় করতে হবে।
একটি উত্তেজক সম্পর্ক, সমালোচকরা বলে
প্রযুক্তিগত বোঝার বাইরে, পর্বটি একটি পরিচিত সমালোচনাকে পুনরুজ্জীবিত করেছে যে কীভাবে এআই কোম্পানিগুলি জনস্বার্থের প্রতিষ্ঠানগুলির সাথে আচরণ করে। অন্টারিও টেক ইউনিভার্সিটির বিশ্বস্ত কৃত্রিম বুদ্ধিমত্তার কানাডা রিসার্চ চেয়ার পিটার লুইস, সিবিসিকে বলেছেন যে প্যাটার্নটি বড় প্রাইভেট কোম্পানিগুলির জন্য যা সাধারণ-ভাল প্রতিষ্ঠানগুলিকে "অত্যন্ত উত্তেজনাপূর্ণ উপায়ে" ব্যবহার করছে - ধরে নিচ্ছি যে পাবলিক সামগ্রী নেওয়ার জন্য বিনামূল্যে, তারপরে একই জনসাধারণের কাছে বিক্রি করা হয় এমন উচ্চ বাণিজ্যিক মডেলগুলি তৈরি করতে এটি ব্যবহার করে৷
গতিশীল এআই ডেভেলপার এবং সংবাদ প্রকাশক, লেখক এবং শিল্পীদের মধ্যে আগের দ্বন্দ্বের প্রতিধ্বনি করে, কিন্তু একটি মোচড়ের সাথে: লাইব্রেরিতে খুব কমই আইনী বিভাগ বা পেওয়াল ফিরে আসে। তাদের ম্যান্ডেট হল তথ্য খোলাখুলিভাবে উপলব্ধ করা, যা ট্রাফিককে অবরুদ্ধ করে তোলে - এমনকি প্রতিকূল ট্র্যাফিকও - তাদের মিশনের সরাসরি দ্বন্দ্ব।
ভালো বট, খারাপ বট এবং এরপর কী আসে
সিবিসি রিপোর্টে উল্লেখ করা হয়েছে যে সমস্ত স্বয়ংক্রিয় ট্র্যাফিক প্রতিকূল নয়, এবং লাইব্রেরিগুলি ভাল আচরণকারী ক্রলারদের মধ্যে পার্থক্য করে যেগুলি হারের সীমা এবং robots.txt বর্জনের সম্মান করে এবং তাদের সংরক্ষণাগারগুলিকে হাতুড়ি দিয়ে অনেক কম ভদ্র ফসল কাটার। অসুবিধাটি হল স্কেল: এমনকি আপত্তিজনক ট্র্যাফিকের একটি অংশও অতীতের ব্যক্তিগত হারের নিয়মগুলিকে স্খলন করার জন্য যথেষ্ট ছোট হয়ে যায় যখন হাজার হাজার ক্লায়েন্ট পরিচয়গুলি সমন্বয় বা ঘোরায়।
প্রতিষ্ঠানগুলি বিভিন্ন কৌশলের সাথে সাড়া দিচ্ছে — হার সীমিত করা, বট ফিঙ্গারপ্রিন্ট করা, পরিচিত স্ক্র্যাপার নেটওয়ার্ক ব্লক করা এবং কিছু ক্ষেত্রে আক্রমণের সময় সম্পূর্ণ অফলাইনে সংগ্রহ করা। এগুলোর কোনোটিই বিনামূল্যে নয়, এবং এগুলোর সবগুলোই লাইব্রেরিগুলো যে উন্মুক্ত অ্যাক্সেস প্রদানের জন্য বিদ্যমান তা হ্রাস করে।
বিড়ম্বনাটি মিস করা কঠিন: একই প্রতিষ্ঠান যারা কয়েক দশক ধরে মানবতার রেকর্ড করা জ্ঞানকে ডিজিটালাইজ করার জন্য ব্যয় করেছে যাতে যে কেউ এটি বিনামূল্যে পড়তে পারে তাদের এখন তাদের ডিজিটাল দরজা বন্ধ করার জন্য চাপ দেওয়া হচ্ছে কারণ এআই সিস্টেমগুলি একবারে সবকিছু পড়তে চায়। লাইব্রেরি, তহবিল এবং এআই কোম্পানিগুলি কীভাবে সেই উত্তেজনাকে সমাধান করে — লাইসেন্সিং চুক্তি, ক্ষতিপূরণ অ্যাক্সেস বা কঠোর প্রযুক্তিগত প্রয়োগের মাধ্যমেই হোক — প্রশিক্ষণ-ডেটা-গুণমানের তথ্যের উন্মুক্ত ওয়েবটি আগামী বছরের জন্য কেমন হবে তা রূপ দেবে।
আপাতত মাঝপথে ধরা পড়া মানুষরাই পাঠক। ভিক্টোরিয়া বিশ্ববিদ্যালয়ে সীমনের অভিজ্ঞতা দেখায়, বট ঝাঁক দ্বারা সৃষ্ট প্রতিটি বিভ্রাট এটির সাথে জনসাধারণের প্রবেশাধিকার নিয়ে যায়।
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
