بر اساس گزارش CBC News، کتابخانه‌های دانشگاهی در سراسر جهان در حال مبارزه با ربات‌های بی‌رحمانه ربات‌های خراش داده‌های هوش مصنوعی هستند که وب‌سایت‌هایشان را کند یا خراب می‌کنند. ربات‌هایی که توسط شرکت‌های هوش مصنوعی و سرویس‌های شخص ثالث برای جمع‌آوری محتوا برای آموزش مدل‌های زبانی بزرگ استفاده می‌شوند، کل مجموعه‌های دیجیتال را آفلاین کرده و کتابخانه‌ها را مجبور می‌کنند بین دسترسی آزاد و اصلاً آنلاین بودن را انتخاب کنند.

اهداف تصادفی نیستند. کتابخانه‌ها، موزه‌ها و سایر مؤسسات میراث فرهنگی حجم زیادی از اطلاعات با کیفیت و بررسی‌شده را در خود نگه می‌دارند که عموماً در پشت دیوارهای پرداخت یا ورود به سیستم پنهان نمی‌شوند - دقیقاً همان متن تمیز و معتبری که توسعه‌دهندگان هوش مصنوعی برای مدل‌های آموزشی مانند Claude، Gemini و ChatGPT جایزه می‌گیرند. For more context on this story, see our ongoing AI trends.

مجموعه ها آفلاین شدند

مقیاس مشکل به حدی رسیده است که کل آرشیوها غیرقابل دسترس می شوند. دین سیمن، مدیر مجموعه‌ها و زیرساخت‌های دیجیتال در کتابخانه‌های دانشگاه ویکتوریا، در گزارش CBC گفت: «گاهی اوقات ترافیک ربات‌ها آنقدر بد می‌شود که باعث می‌شود سایت‌ها برای مدتی به طور کامل از کار بیفتند. او این قطعی ها را ایجاد یک "مشکل واقعی" برای دسترسی عمومی توصیف کرد - زمانی که سایت کتابخانه تحت ترافیک ربات ها فرو می ریزد، دانشجویان، محققان و شهروندان عادی همراه با ماشین ها قفل می شوند.

در دانشگاه ایالتی سن خوزه، تجربه تجربه ای با فشار دائمی است. جیل استریکوفسکی، مسئول فهرست‌نویسی و اسناد دولتی دانشگاه، گفت: «آن‌ها فقط در اینترنت هستند، فقط ما را بمباران می‌کنند تا هر چه بیشتر مطالب را به دست آوریم.» مؤسسه او اسناد دولتی و سایر مواد عمومی را دیجیتالی می‌کند و آن را به منبع تغذیه‌ای برای خراش‌ها تبدیل می‌کند.

این گزارش مدرسه‌ای را توصیف می‌کند که با بیش از 11000 جستجو در موسیقی فنلاند در یک روز غرق شد - ترافیکی که هیچ مخاطب انسانی به طور قابل قبولی نمی‌توانست ایجاد کند، و نوعی خزیدن با تمرکز محدود و با حجم بالا که نمونه‌ای از عملیات برداشت خودکار است.

مشکلی که مدام در حال رشد است

محققانی که این پدیده را ردیابی می‌کنند دریافتند که گزارش‌هایی از این نوع خراشیدن تهاجمی در اواخر سال 2024 در سراسر آمریکای شمالی، اروپا و اقیانوسیه ظاهر شد و کارشناسان به سی‌بی‌سی نیوز گفتند که این مشکل از آن زمان بدتر شده است. همانطور که شرکت‌های هوش مصنوعی برای ایمن کردن داده‌های آموزشی با کیفیت بالا رقابت می‌کنند - و ناشران وب باز به طور فزاینده‌ای خزنده‌ها را مسدود می‌کنند - مجموعه متن‌های بدون محافظت و با کیفیت بالا کم‌کم می‌شوند و فشار بر مؤسساتی که از قفل کردن مجموعه‌های خود امتناع می‌کنند، افزایش می‌یابد.

این فشار هزینه دارد. Strykowski گفت ربات‌ها «مقدار باورنکردنی کار و دردسر برای هر مؤسسه‌ای که کار دیجیتالی‌سازی انجام می‌دهد و هر مؤسسه‌ای که تلاش می‌کند اطلاعات را آشکارا در دسترس قرار دهد، ایجاد می‌کند». کتابخانه‌ها اکنون باید زیرساخت‌های فیلتر ربات را اجرا کنند، خزنده‌های سوءاستفاده‌کننده را تعقیب کنند و قطعی‌ها را جذب کنند - بودجه کمی را صرف دفاع به جای دیجیتالی کردن و دسترسی کنند.

یک رابطه استخراجی، منتقدان می گویند

فراتر از بار فنی، این اپیزود انتقاد آشنا را از نحوه رفتار شرکت‌های هوش مصنوعی با مؤسسات منافع عمومی زنده کرده است. پیتر لوئیس، رئیس تحقیقات کانادایی در هوش مصنوعی قابل اعتماد در دانشگاه فناوری انتاریو، به CBC گفت که این الگو به این معناست که شرکت‌های خصوصی بزرگ از مؤسسات خوب مشترک استفاده می‌کنند «به روشی که بسیار استخراج‌کننده است» – با فرض اینکه مواد عمومی برای گرفتن رایگان است، سپس از آن برای ساخت مدل‌های بسیار تجاری استفاده می‌کنند که به همان عموم فروخته می‌شوند.

این پویایی بازتاب درگیری‌های قبلی بین توسعه‌دهندگان هوش مصنوعی و ناشران اخبار، نویسندگان و هنرمندان است، اما با یک پیچش: کتابخانه‌ها به ندرت دارای بخش‌های حقوقی یا دیوارهای پرداخت هستند که باید دوباره به آن بازگردند. وظیفه آنها در دسترس قرار دادن اطلاعات است که مسدود کردن ترافیک - حتی ترافیک خصمانه - را در تضاد مستقیم با مأموریت آنها قرار می دهد.

ربات‌های خوب، ربات‌های بد، و آنچه بعدا می‌آیند

گزارش CBC اشاره می‌کند که همه ترافیک‌های خودکار خصمانه نیستند و کتابخانه‌ها بین خزنده‌های خوش رفتاری که به محدودیت‌های نرخ احترام می‌گذارند و استثناهای robots.txt و برداشت‌کنندگان بسیار مودبانه‌تر که بایگانی‌هایشان را چکش می‌کنند، تمایز قائل می‌شوند. مشکل در مقیاس است: حتی سهمی از ترافیک سوءاستفاده‌کننده به اندازه‌ای کوچک که قوانین نرخ‌های فردی را پشت سر بگذارد، زمانی که هزاران مشتری هویت‌ها را هماهنگ یا چرخش می‌کنند، خردکننده می‌شود.

موسسات با ترکیبی از تاکتیک‌ها پاسخ می‌دهند - محدود کردن نرخ، اثرانگشت ربات، مسدود کردن شبکه‌های اسکریپر شناخته شده و در برخی موارد آفلاین کردن مجموعه‌ها به طور کامل در طول حملات. هیچ یک از اینها رایگان نیستند، و همه آنها دسترسی آزاد را که کتابخانه ها برای ارائه وجود دارند، کاهش می دهند.

به سختی می توان از این طنز غافل شد: همان موسساتی که دهه ها را صرف دیجیتالی کردن دانش ثبت شده بشر کردند تا هر کسی بتواند آن را به صورت رایگان بخواند، اکنون تحت فشار قرار گرفته اند تا درهای دیجیتال خود را ببندند زیرا سیستم های هوش مصنوعی می خواهند همه چیز را یکجا بخوانند. چگونه کتابخانه‌ها، سرمایه‌گذاران و شرکت‌های هوش مصنوعی این تنش را حل می‌کنند - چه از طریق معاملات مجوز، دسترسی جبران‌شده، یا اجرای فنی سخت‌گیرانه‌تر - شبکه باز اطلاعات با کیفیت داده‌های آموزشی را برای سال‌های آینده شکل خواهد داد.

در حال حاضر، افرادی که در این وسط گرفتار شده اند، خوانندگان هستند. همانطور که تجربه سیمن در دانشگاه ویکتوریا نشان می‌دهد، هر قطعی که توسط یک ربات ازدحام ایجاد می‌شود، دسترسی عمومی را با آن کاهش می‌دهد.

---

Stay Ahead of AI

Get the latest AI news, analysis, and breakthroughs — all in one place.

Read more AI news →