Z raportu CBC News wynika, że biblioteki akademickie na całym świecie walczą z bezlitosnymi rojami botów zbierających dane AI, które spowalniają lub powodują awarię ich witryn internetowych. Boty, wykorzystywane przez firmy zajmujące się sztuczną inteligencją i usługi stron trzecich do gromadzenia treści na potrzeby uczenia dużych modeli językowych, przełączają całe zbiory cyfrowe w tryb offline i zmuszają biblioteki do wyboru między otwartym dostępem a pozostawaniem w ogóle online.
Cele nie są przypadkowe. Biblioteki, muzea i inne instytucje zajmujące się dziedzictwem kulturowym przechowują duże ilości wysokiej jakości, sprawdzonych informacji, które zazwyczaj nie są ukryte za ścianami płatniczymi ani loginami — dokładnie taki rodzaj czystego, wiarygodnego tekstu, który twórcy sztucznej inteligencji cenią za modele szkoleniowe, takie jak Claude, Gemini i ChatGPT. Więcej kontekstu na ten temat znajdziesz w naszych trendy AI.
Kolekcje przełączone w tryb offline
Skala problemu urosła do tego stopnia, że całe archiwa stają się niedostępne. „Czasami ruch botów jest tak duży, że powoduje na jakiś czas całkowite wyłączenie witryn” – stwierdził w raporcie CBC Dean Seeman, dyrektor ds. zbiorów i infrastruktury cyfrowej w bibliotekach Uniwersytetu Wiktorii. Opisał te przerwy jako stwarzające „prawdziwy problem” w zakresie publicznego dostępu — gdy witryna biblioteki załamuje się pod wpływem ruchu botów, studenci, badacze i zwykli obywatele zostają odcięci od dostępu wraz z maszynami.
Na Uniwersytecie Stanowym w San Jose panuje ciągła presja. „Po prostu są w Internecie i po prostu bombardują nas, próbując zdobyć jak najwięcej materiałów” – powiedziała Jill Strykowski, kierownik uniwersyteckiego katalogowania i dokumentów rządowych. Jej instytucja digitalizuje dokumenty rządowe i inne materiały publiczne, co czyni ją głównym pożywką dla złodziei.
Raport opisuje jedną szkołę, która została przytłoczona ponad 11 000 wyszukiwań fińskiej muzyki w ciągu jednego dnia – ruch, którego żadna ludzka publiczność nie była w stanie w przekonujący sposób wygenerować, oraz rodzaj wąsko skupionego, dużej liczby wyszukiwań, typowy dla operacji automatycznego zbierania plików.
Problem, który stale rośnie
Badacze śledzący to zjawisko odkryli, że doniesienia o tego rodzaju agresywnym skrobaniu zaczęły pojawiać się pod koniec 2024 roku w Ameryce Północnej, Europie i Oceanii, a eksperci powiedzieli CBC News, że od tego czasu problem stale się pogłębia. W miarę jak firmy zajmujące się sztuczną inteligencją starają się zapewnić wysokiej jakości dane szkoleniowe – a wydawcy otwartej sieci coraz częściej blokują roboty indeksujące – zasoby niechronionego tekstu wysokiej jakości stale się kurczą, a presja na instytucje, które odmawiają blokowania swoich zbiorów, stale rośnie.
Ta presja ma swoją cenę. Strykowski powiedział, że boty „przynoszą niesamowitą ilość pracy i powodują ból głowy każdej instytucji zajmującej się cyfryzacją i każdej instytucji, która stara się udostępniać informacje w sposób otwarty”. Biblioteki muszą teraz uruchamiać infrastrukturę filtrującą boty, ścigać złośliwe roboty i eliminować awarie, wydając ograniczony budżet na obronę, a nie na cyfryzację i dostęp.
Związek ekstrakcyjny, twierdzą krytycy
Poza obciążeniami technicznymi, odcinek ożywił znaną krytykę sposobu, w jaki firmy zajmujące się sztuczną inteligencją traktują instytucje interesu publicznego. Peter Lewis, kanadyjski kierownik badań w dziedzinie Trustworthy Artificial Intelligence na Ontario Tech University, powiedział CBC, że wzór ten sprowadza się do tego, że duże prywatne firmy korzystają z instytucji dobra wspólnego „w sposób bardzo wydobywczy” – zakładając, że materiały publiczne są do pobrania bezpłatnie, a następnie wykorzystują je do tworzenia wysoce komercyjnych modeli, które są sprzedawane tej samej publiczności.
Ta dynamika nawiązuje do wcześniejszych konfliktów między twórcami sztucznej inteligencji a wydawcami wiadomości, autorami i artystami, ale z pewnym akcentem: biblioteki rzadko mają działy prawne lub paywalle, na których mogą się oprzeć. Ich zadaniem jest otwarte udostępnianie informacji, co sprawia, że blokowanie ruchu – nawet wrogiego – jest bezpośrednią sprzecznością z ich misją.
Dobre boty, złe boty i co dalej
W raporcie CBC zauważono, że nie cały zautomatyzowany ruch jest wrogi, a biblioteki rzeczywiście rozróżniają dobrze zachowujące się roboty, które przestrzegają limitów szybkości i wykluczeń z pliku robots.txt, od znacznie mniej uprzejmych zbieraczy wbijających się w ich archiwa. Trudność polega na skali: nawet część niewłaściwego ruchu, wystarczająco mała, aby przemknąć przez indywidualne zasady stawek, staje się miażdżąca, gdy tysiące klientów koordynuje lub zmienia tożsamości.
Instytucje reagują, stosując kombinację taktyk — ograniczanie szybkości transmisji, pobieranie odcisków palców botów, blokowanie znanych sieci scraperów, a w niektórych przypadkach całkowite przełączanie zbiorów w tryb offline podczas ataków. Żadne z nich nie jest bezpłatne i wszystkie pogarszają otwarty dostęp, jaki zapewniają biblioteki.
Trudno przeoczyć tę ironię: te same instytucje, które przez dziesięciolecia digitalizowały zarejestrowaną wiedzę ludzkości, aby każdy mógł ją przeczytać za darmo, są teraz zmuszane do zamknięcia swoich cyfrowych drzwi, ponieważ systemy sztucznej inteligencji chcą czytać wszystko na raz. Sposób, w jaki biblioteki, fundatorzy i firmy zajmujące się sztuczną inteligencją rozwiążą to napięcie – czy to poprzez umowy licencyjne, płatny dostęp czy bardziej rygorystyczne egzekwowanie przepisów technicznych – ukształtuje to, jak otwarta sieć informacji o jakości danych szkoleniowych będzie wyglądać w nadchodzących latach.
Na razie osobami znajdującymi się pośrodku są czytelnicy. Jak pokazuje doświadczenie Seemana na Uniwersytecie Wiktorii, każda awaria spowodowana rojem botów powoduje utratę publicznego dostępu.
---
Bądź na Bieżąco z AINajnowsze wiadomości, analizy i przełomy w dziedzinie AI — wszystko w jednym miejscu.
Czytaj więcej wiadomości AI →
