Відповідно до звіту CBC News, академічні бібліотеки в усьому світі борються з невпинними зграями ботів зі штучним інтелектом, які збирають дані, які уповільнюють або призводять до збою їхні веб-сайти. Боти, які використовуються компаніями штучного інтелекту та сторонніми службами для збирання вмісту для навчання великих мовних моделей, виводять із ладу цілі цифрові колекції та змушують бібліотеки вибирати між відкритим доступом і залишатися онлайн взагалі.
Цілі не випадкові. Бібліотеки, музеї та інші заклади культурної спадщини зберігають великі обсяги якісної перевіреної інформації, яка, як правило, не прихована за платними екранами чи логінами — саме такий чистий, авторитетний текст, який розробники штучного інтелекту цінують за навчання таких моделей, як Claude, Gemini та ChatGPT. For more context on this story, see our ongoing breaking AI news.
Колекції вибиті в автономному режимі
Масштаби проблеми зросли до того, що цілі архіви стають недоступними. «Іноді трафік ботів стає настільки поганим, що сайти на деякий час повністю припиняють роботу», — сказав у звіті CBC Дін Сіман, директор із колекцій та цифрової інфраструктури бібліотек Університету Вікторії. Він назвав збої створюючими «справжню проблему» для публічного доступу — коли сайт бібліотеки руйнується через трафік ботів, студенти, дослідники та звичайні громадяни блокуються разом із машинами.
Університет штату Сан-Хосе відчуває постійний тиск. «Вони просто в Інтернеті, просто бомбардують нас, намагаючись зібрати якомога більше матеріалу», — сказала Джилл Стриковскі, керівник відділу каталогізації та урядових документів університету. Її інституція оцифровує урядові документи та інші публічні матеріали, що робить його основним джерелом для розробників.
У звіті описується одна школа, яка була переповнена більш ніж 11 000 пошукових запитів щодо фінської музики за один день — трафік, який, ймовірно, не могла створити людська аудиторія, і вид вузькоспрямованого, великого обсягу сканування, типового для автоматизованих операцій збирання врожаю.
Проблема, яка продовжує зростати
Дослідники, які відстежували це явище, виявили, що повідомлення про такий вид агресивного скребка почали з’являтися наприкінці 2024 року в Північній Америці, Європі та Океанії, і експерти повідомили CBC News, що відтоді проблема продовжує загострюватися. Оскільки компанії зі штучним інтелектом намагаються забезпечити високоякісні навчальні дані — і оскільки видавці відкритого Інтернету все частіше блокують сканери — пули незахищеного високоякісного тексту продовжують скорочуватися, а тиск на установи, які відмовляються блокувати свої колекції, продовжує зростати.
Цей тиск має свою ціну. Стрийковський сказав, що боти «спричиняють неймовірну кількість роботи та головний біль для кожної установи, яка займається оцифруванням, і кожної установи, яка намагається зробити інформацію відкрито доступною». Бібліотеки тепер повинні використовувати інфраструктуру фільтрації ботів, переслідувати зловмисних сканерів і поглинати збої, витрачаючи мізерний бюджет на захист, а не на оцифрування та доступ.
Екстракційні стосунки, кажуть критики
Крім технічного тягаря, цей епізод відновив знайому критику того, як компанії зі штучним інтелектом ставляться до установ суспільного інтересу. Пітер Льюїс, канадський керівник відділу надійного штучного інтелекту Технічного університету Онтаріо, сказав CBC, що великі приватні компанії використовують інституції загального блага «у спосіб, який є дуже привабливим» — припускаючи, що публічні матеріали є безкоштовними для використання, а потім використовують їх для створення висококомерційних моделей, які продаються тій самій публіці.
Ця динаміка повторює попередні конфлікти між розробниками штучного інтелекту та видавцями новин, авторами та художниками, але з родзинкою: бібліотеки рідко мають юридичні відділи чи платні системи, до яких можна звертатися. Їх мандат полягає у відкритому доступі до інформації, що робить блокування трафіку — навіть ворожого трафіку — прямим суперечністю їхній місії.
Хороші боти, погані боти та те, що буде далі
У звіті CBC зазначається, що не весь автоматизований трафік є ворожим, і бібліотеки справді розрізняють добре поведених сканерів, які поважають обмеження швидкості та виключення robots.txt, і набагато менш ввічливих збирачів, які забивають їхні архіви. Складність полягає в масштабі: навіть частка зловмисного трафіку, досить мала, щоб проскочити за правилами індивідуальних тарифів, стає нищівною, коли тисячі клієнтів координують або змінюють ідентифікаційні дані.
Інституції реагують різними тактиками — обмеженням швидкості, пошуком відбитків ботів, блокуванням відомих мереж скрейперів, а в деяких випадках — повним відключенням колекцій під час атак. Жодне з них не є безкоштовним, і всі вони погіршують відкритий доступ, який існують для надання бібліотек.
Важко помітити іронію: ті самі установи, які десятиліттями оцифровували записані знання людства, щоб будь-хто міг прочитати їх безкоштовно, тепер змушені закрити свої цифрові двері, оскільки системи штучного інтелекту хочуть читати все й одразу. Те, як бібліотеки, спонсори та компанії, що займаються штучним інтелектом, розв’язують цю напругу — через ліцензійні угоди, платний доступ чи суворіші технічні заходи — впливатиме на те, як виглядатиме відкрита мережа інформації про якість навчальних даних упродовж багатьох років.
Наразі люди, які опинилися посередині, – це читачі. Як показує досвід Сімена в Університеті Вікторії, кожен збій, спричинений роєм ботів, забирає публічний доступ разом із собою.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
