Podle zprávy CBC News akademické knihovny po celém světě bojují proti neúnavným rojům robotů sbírajících data AI, kteří zpomalují nebo padají jejich webové stránky. Boti, které používají společnosti s umělou inteligencí a služby třetích stran ke shromažďování obsahu pro trénování velkých jazykových modelů, vyřazují celé digitální sbírky do režimu offline a nutí knihovny, aby si vybraly mezi otevřeným přístupem a vůbec zůstat online.
Cíle nejsou náhodné. Knihovny, muzea a další instituce kulturního dědictví uchovávají velké objemy kvalitních, prověřených informací, které se obecně neskrývají za paywally nebo přihlášeními – přesně ten typ čistého a autoritativního textu, který vývojáři umělé inteligence oceňují za tréninkové modely, jako jsou Claude, Gemini a ChatGPT. For more context on this story, see our ongoing latest AI developments.
Sbírky zrušeny offline
Rozsah problému narostl do bodu, kdy se celé archivy stávají nedostupnými. "Někdy se provoz botů tak zhorší, že to způsobí, že stránky na chvíli úplně přestanou fungovat," řekl Dean Seeman, ředitel sbírek a digitální infrastruktury na University of Victoria Libraries, ve zprávě CBC. Popsal výpadky jako vytvoření „skutečného problému“ pro veřejný přístup – když se stránka knihovny zhroutí pod provozem botů, studenti, výzkumníci a běžní občané jsou uzamčeni společně se stroji.
Na státní univerzitě v San Jose je to zkušenost neustálého tlaku. "Jsou jen tam na internetu, jen nás bombardují snahou sebrat co nejvíce materiálu," řekla Jill Strykowski, vedoucí univerzitní katalogizace a vládních dokumentů. Její instituce digitalizuje vládní dokumenty a další veřejné materiály, což z ní dělá hlavní živnou půdu pro škrabáky.
Zpráva popisuje jednu školu, která byla zahlcena více než 11 000 vyhledáváními ve finské hudbě za jediný den – provoz, který žádné lidské publikum věrohodně nedokázalo vytvořit, a druh úzce zaměřeného, vysokoobjemového procházení typického pro automatizované sklízecí operace.
Problém, který neustále roste
Výzkumníci, kteří tento jev sledovali, zjistili, že zprávy o tomto druhu agresivního škrábání se začaly objevovat koncem roku 2024 v Severní Americe, Evropě a Oceánii a odborníci řekli CBC News, že se problém od té doby stále zhoršuje. Jak společnosti s umělou inteligencí závodí v zabezpečení vysoce kvalitních školicích dat – a vydavatelé otevřeného webu stále více blokují prohledávače – zásoby nestřeženého vysoce kvalitního textu se neustále zmenšují a tlak na instituce, které odmítají uzamknout své sbírky, neustále roste.
Ten tlak něco stojí. Strykowski řekl, že roboti "způsobují neuvěřitelné množství práce a bolesti hlavy každé instituci, která provádí digitalizaci, a každé instituci, která se snaží zpřístupnit informace otevřeně." Knihovny nyní musí provozovat infrastrukturu pro filtrování botů, pronásledovat nečestné prohledávače a absorbovat výpadky – utrácet omezený rozpočet spíše na obranu než na digitalizaci a přístup.
Extraktivní vztah, říkají kritici
Kromě technické zátěže epizoda oživila známou kritiku toho, jak společnosti AI zacházejí s institucemi veřejného zájmu. Peter Lewis, vedoucí katedry kanadského výzkumu Trustworthy Artificial Intelligence na Ontarijské technické univerzitě, řekl CBC, že tento vzorec se rovná tomu, že velké soukromé společnosti využívají obecně prospěšné instituce „způsobem, který je velmi extrakční“ – za předpokladu, že veřejný materiál je zdarma k odběru, a poté jej použijí k vytvoření vysoce komerčních modelů, které se prodávají zpět stejné veřejnosti.
Dynamika odráží dřívější konflikty mezi vývojáři umělé inteligence a vydavateli zpráv, autory a umělci, ale s obratem: knihovny jen zřídka mají právní oddělení nebo paywally, na které by se mohly obrátit. Jejich mandátem je zpřístupňovat informace otevřeně, což z blokování provozu – dokonce i nepřátelského – přímého rozporu s jejich posláním.
Dobří boti, špatní roboti a co přijde dál
Zpráva CBC poznamenává, že ne veškerý automatizovaný provoz je nepřátelský a knihovny rozlišují mezi dobře vychovanými prohledávači, kteří respektují rychlostní limity a vyloučení souborů robots.txt, a mnohem méně zdvořilými kombajny, kteří tloukají do svých archivů. Potíž je v rozsahu: i podíl zneužívajícího provozu, který je dostatečně malý na to, aby proklouzl přes jednotlivá pravidla sazeb, se stává zdrcující, když tisíce klientů koordinují nebo střídají identity.
Instituce reagují kombinací taktik – omezování rychlosti, snímání otisků bot, blokování známých scraperových sítí a v některých případech úplné odpojení sbírek během útoků. Žádná z nich není zdarma a všechny degradují otevřený přístup, který knihovny poskytují.
Ironii lze jen těžko přehlédnout: tytéž instituce, které strávily desítky let digitalizací zaznamenaných znalostí lidstva, aby si je mohl kdokoli přečíst zdarma, jsou nyní nuceny zavírat své digitální dveře, protože systémy umělé inteligence chtějí číst vše najednou. Jak knihovny, financující organizace a společnosti AI vyřeší toto napětí – ať už prostřednictvím licenčních dohod, kompenzovaného přístupu nebo přísnějšího technického vymáhání – bude v nadcházejících letech utvářet to, jak bude vypadat otevřená síť informací o kvalitě školicích dat.
Prozatím jsou lidé zachycení uprostřed čtenáři. Jak ukazuje Seemanova zkušenost z University of Victoria, každý výpadek způsobený rojem botů s sebou nese i veřejný přístup.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
