Согласно отчету CBC News, академические библиотеки по всему миру борются с безжалостными роями ботов, собирающих данные с помощью искусственного интеллекта, которые замедляют или приводят к сбою их веб-сайтов. Боты, используемые компаниями, занимающимися искусственным интеллектом, и сторонними сервисами для сбора контента для обучения больших языковых моделей, выводят из строя целые цифровые коллекции и заставляют библиотеки выбирать между открытым доступом и пребыванием в сети вообще.
Цели не случайны. Библиотеки, музеи и другие учреждения культурного наследия хранят большие объемы качественной, проверенной информации, которая обычно не скрыта за платным доступом или входами в систему — именно тот чистый, авторитетный текст, который разработчики ИИ ценят за модели обучения, такие как Claude, Gemini и ChatGPT. Подробнее об этой истории — в нашем последние разработки в ИИ.
Коллекции отключены от сети
Масштаб проблемы вырос до такой степени, что целые архивы становятся недоступными. «Иногда трафик ботов становится настолько сильным, что сайты на какое-то время полностью отключаются», — сказал Дин Симан, директор по коллекциям и цифровой инфраструктуре библиотек Университета Виктории, в отчете CBC. Он описал перебои в работе как создающие «настоящую проблему» для публичного доступа: когда сайт библиотеки разрушается из-за трафика ботов, студенты, исследователи и обычные граждане блокируются вместе с машинами.
В Государственном университете Сан-Хосе наблюдается постоянное давление. «Они просто находятся в Интернете, просто бомбардируют нас, пытаясь собрать как можно больше материала», — сказала Джилл Стриковски, руководитель отдела каталогизации и правительственной документации университета. Ее учреждение оцифровывает правительственные документы и другие общественные материалы, что делает его основной питательной средой для скребков.
В отчете описывается одна школа, которая была перегружена более чем 11 000 поисковыми запросами по финской музыке за один день — трафик, который не могла создать ни одна человеческая аудитория, и своего рода узконаправленное, крупномасштабное сканирование, типичное для автоматизированных операций по сбору урожая.
Проблема, которая продолжает расти
Исследователи, отслеживающие это явление, обнаружили, что сообщения о таком агрессивном парсинге начали появляться в конце 2024 года в Северной Америке, Европе и Океании, и эксперты сообщили CBC News, что с тех пор проблема продолжает ухудшаться. По мере того, как компании, занимающиеся искусственным интеллектом, стремятся получить высококачественные обучающие данные, а издатели открытой сети все чаще блокируют сканеры, пулы незащищенного высококачественного текста продолжают сокращаться, а давление на учреждения, которые отказываются блокировать свои коллекции, продолжает расти.
Это давление имеет свою цену. Стрыковски сказал, что боты «приносят невероятный объем работы и головную боль каждому учреждению, которое занимается оцифровкой, и каждому учреждению, которое пытается сделать информацию общедоступной». Библиотеки теперь должны использовать инфраструктуру фильтрации ботов, преследовать злоумышленников и компенсировать простои, тратя скудный бюджет на защиту, а не на оцифровку и доступ.
Экстрактивные отношения, говорят критики
Помимо технической нагрузки, этот эпизод возродил знакомую критику того, как компании, занимающиеся искусственным интеллектом, относятся к учреждениям, представляющим общественный интерес. Питер Льюис, руководитель канадского исследования в области надежного искусственного интеллекта в Технологическом университете Онтарио, рассказал CBC, что эта закономерность сводится к тому, что крупные частные компании используют институты общего блага «очень извлекающим образом» — предполагая, что общедоступные материалы бесплатны для использования, а затем используют их для создания высококоммерческих моделей, которые продаются обратно той же публике.
Эта динамика перекликается с более ранними конфликтами между разработчиками ИИ и издателями новостей, авторами и художниками, но с одной изюминкой: в библиотеках редко есть юридические отделы или платный доступ, к которым можно было бы прибегнуть. Их мандат состоит в том, чтобы сделать информацию открытой, что делает блокирование трафика, даже враждебного, прямым противоречием их миссии.
Хорошие боты, плохие боты и что будет дальше
В отчете CBC отмечается, что не весь автоматизированный трафик является враждебным, и библиотеки действительно различают добросовестных сканеров, соблюдающих ограничения скорости и исключения robots.txt, и гораздо менее вежливых сборщиков, забивающих свои архивы. Трудность масштабна: даже доля неправомерного трафика, достаточно малая, чтобы проскользнуть мимо правил отдельных тарифов, становится сокрушительной, когда тысячи клиентов координируют или меняют личности.
Учреждения реагируют различными тактиками — ограничением скорости, снятием отпечатков пальцев ботов, блокировкой известных парсерских сетей и в некоторых случаях полностью отключают сборы данных во время атак. Ни один из них не является бесплатным, и все они ухудшают открытый доступ, который существуют библиотеки.
Трудно не заметить иронию: те же учреждения, которые десятилетиями оцифровывали записанные человечеством знания, чтобы каждый мог их бесплатно прочитать, теперь вынуждены закрывать свои цифровые двери, потому что системы искусственного интеллекта хотят прочитать все сразу. То, как библиотеки, спонсоры и компании, занимающиеся искусственным интеллектом, разрешат это противоречие — будь то посредством лицензионных соглашений, компенсированного доступа или более строгого технического правоприменения — будет определять то, как будет выглядеть открытая сеть данных качества обучения на долгие годы вперед.
На данный момент люди, оказавшиеся посередине, — это читатели. Как показывает опыт Симана в Университете Виктории, каждый сбой, вызванный роем ботов, уничтожает публичный доступ.
---
Будьте в курсе ИИПоследние новости, аналитика и прорывы в сфере ИИ — всё в одном месте.
Читать больше новостей об ИИ →
