Academische bibliotheken over de hele wereld vechten tegen meedogenloze zwermen AI-dataschrapende bots die hun websites vertragen of crashen, volgens een rapport van CBC News. De bots, die door AI-bedrijven en externe diensten worden gebruikt om inhoud te verzamelen voor het trainen van grote taalmodellen, zetten hele digitale collecties offline en dwingen bibliotheken om te kiezen tussen open toegang of überhaupt online blijven.
De doelstellingen zijn niet willekeurig. Bibliotheken, musea en andere instellingen voor cultureel erfgoed beschikken over grote hoeveelheden hoogwaardige, gecontroleerde informatie die over het algemeen niet verborgen is achter betaalmuren of logins – precies het soort zuivere, gezaghebbende tekst waar AI-ontwikkelaars prijs op stellen voor trainingsmodellen als Claude, Gemini en ChatGPT. Voor meer context over dit verhaal, zie ons laatste AI-ontwikkelingen.
Collecties offline geslagen
De omvang van het probleem is zo groot geworden dat hele archieven ontoegankelijk worden. "Soms wordt het botverkeer zo erg dat de sites een tijdje volledig plat liggen", zegt Dean Seeman, directeur collecties en digitale infrastructuur bij de bibliotheken van de Universiteit van Victoria, in het CBC-rapport. Hij beschreef de storingen als een ‘echt probleem’ voor de publieke toegang: wanneer de site van een bibliotheek instort onder botverkeer, worden studenten, onderzoekers en gewone burgers samen met de machines buitengesloten.
Bij de San Jose State University is de ervaring er een van constante druk. "Ze zijn gewoon op internet aanwezig en bombarderen ons met pogingen om zoveel mogelijk materiaal te bemachtigen", zegt Jill Strykowski, hoofd catalogisering en overheidsdocumenten van de universiteit. Haar instelling digitaliseert overheidsdocumenten en ander openbaar materiaal, waardoor het een uitstekende voedingsbodem is voor schrapers.
Het rapport beschrijft een school die op één dag werd overweldigd door meer dan 11.000 zoekopdrachten naar Finse muziek – verkeer dat geen enkel menselijk publiek op plausibele wijze zou kunnen genereren, en het soort nauwkeurig gerichte crawling met grote volumes dat typerend is voor geautomatiseerde oogstoperaties.
Een probleem dat blijft groeien
Onderzoekers die het fenomeen volgden, ontdekten dat eind 2024 berichten over dit soort agressief schrapen verschenen in Noord-Amerika, Europa en Oceanië, en experts vertelden CBC News dat het probleem sindsdien steeds erger is geworden. Terwijl AI-bedrijven racen om trainingsgegevens van hoge kwaliteit veilig te stellen – en naarmate de uitgevers van het open web steeds meer crawlers blokkeren – worden de hoeveelheden onbewaakte tekst van hoge kwaliteit steeds kleiner, en blijft de druk op instellingen die weigeren hun collecties af te sluiten toenemen.
Die druk heeft een prijs. Strykowski zei dat de bots "ongelooflijk veel werk en hoofdpijn veroorzaken voor elke instelling die digitaliseringswerk doet en elke instelling die informatie openlijk beschikbaar probeert te maken." Bibliotheken moeten nu een infrastructuur voor botfiltering beheren, onrechtmatige crawlers achtervolgen en storingen opvangen, waarbij ze een schaars budget besteden aan defensie in plaats van aan digitalisering en toegang.
Een extractieve relatie, zeggen critici
Naast de technische last heeft deze episode ook een bekende kritiek doen herleven op de manier waarop AI-bedrijven omgaan met instellingen van openbaar belang. Peter Lewis, Canada Research Chair in Trustworthy Artificial Intelligence aan de Ontario Tech University, vertelde CBC dat het patroon erop neerkomt dat grote particuliere bedrijven gebruik maken van instellingen van algemeen belang "op een manier die zeer extractief is" - ervan uitgaande dat openbaar materiaal gratis voor het oprapen ligt, en het vervolgens gebruiken om zeer commerciële modellen te bouwen die aan hetzelfde publiek worden terugverkocht.
De dynamiek weerspiegelt eerdere conflicten tussen AI-ontwikkelaars en nieuwsuitgevers, auteurs en kunstenaars, maar met een twist: bibliotheken hebben zelden juridische afdelingen of betaalmuren om op terug te vallen. Hun mandaat is om informatie openlijk beschikbaar te maken, waardoor het blokkeren van verkeer – zelfs vijandig verkeer – een directe tegenspraak is met hun missie.
Goede bots, slechte bots en wat daarna komt
Het CBC-rapport merkt op dat niet al het geautomatiseerde verkeer vijandig is, en dat bibliotheken onderscheid maken tussen goed opgevoede crawlers die snelheidslimieten en robots.txt-uitsluitingen respecteren, en de veel minder beleefde harvesters die op hun archieven hameren. De moeilijkheid is de schaalgrootte: zelfs een deel van het misbruik dat klein genoeg is om aan de individuele tariefregels te ontsnappen, wordt verpletterend als duizenden klanten identiteiten coördineren of rouleren.
Instellingen reageren met een mix van tactieken: snelheidsbeperking, bot-fingerprinting, het blokkeren van bekende scraper-netwerken en in sommige gevallen het volledig offline halen van collecties tijdens aanvallen. Geen van deze is gratis, en ze doen allemaal afbreuk aan de open toegang die bibliotheken bieden.
De ironie is moeilijk te missen: dezelfde instellingen die tientallen jaren hebben besteed aan het digitaliseren van de vastgelegde kennis van de mensheid, zodat iedereen deze gratis kon lezen, worden nu gedwongen hun digitale deuren te sluiten omdat AI-systemen alles in één keer willen lezen. Hoe bibliotheken, financiers en AI-bedrijven die spanning oplossen – of het nu gaat om licentieovereenkomsten, gecompenseerde toegang of strengere technische handhaving – zal bepalen hoe het open web van informatie over de kwaliteit van trainingsgegevens er de komende jaren uit zal zien.
Voorlopig zijn de mensen die er middenin zitten de lezers. Zoals Seeman's ervaring aan de Universiteit van Victoria laat zien, neemt elke storing veroorzaakt door een botzwerm de publieke toegang weg.
---
Blijf Voorop met AIHet laatste AI-nieuws, analyses en doorbraken — allemaal op één plek.
Lees meer AI-nieuws →
