Akademiska bibliotek runt om i världen slåss mot obevekliga svärmar av AI-dataskrapande bots som saktar ner eller kraschar deras webbplatser, enligt en rapport från CBC News. Botarna, som används av AI-företag och tredjepartstjänster för att skörda innehåll för att träna stora språkmodeller, slår hela digitala samlingar offline och tvingar bibliotek att välja mellan öppen åtkomst och att överhuvudtaget vara online.
Målen är inte slumpmässiga. Bibliotek, museer och andra kulturarvsinstitutioner har stora volymer av kvalitetskontrollerad information som i allmänhet inte döljs bakom betalväggar eller inloggningar - exakt den typ av ren, auktoritativ text som AI-utvecklare prisar för träningsmodeller som Claude, Gemini och ChatGPT. For more context on this story, see our ongoing latest AI developments.
Samlingar knackade offline
Problemets omfattning har vuxit till den grad att hela arkiv blir otillgängliga. "Ibland blir bottrafiken så dålig att det får sajterna att försvinna helt för en liten stund", säger Dean Seeman, chef för samlingar och digital infrastruktur vid University of Victoria Libraries, i CBC-rapporten. Han beskrev avbrotten som att skapa ett "verkligt problem" för allmänhetens tillgång - när ett biblioteks webbplats kollapsar under bottrafik, låses studenter, forskare och vanliga medborgare ute tillsammans med maskinerna.
Vid San Jose State University är upplevelsen en konstant press. "De är bara där ute på internet, bara bombarderar oss med att försöka få tag i så mycket material som möjligt", säger Jill Strykowski, universitetets ledare för katalogisering och regeringsdokument. Hennes institution digitaliserar statliga dokument och annat offentligt material, vilket gör det till en utmärkt matplats för skrapor.
Rapporten beskriver en skola som överväldigades av mer än 11 000 sökningar på finsk musik på en enda dag — trafik som ingen mänsklig publik rimligen kunde generera, och den typ av snävt fokuserad, högvolymskrypning som är typisk för automatiserade skördeoperationer.
Ett problem som fortsätter att växa
Forskare som spårade fenomenet fann att rapporter om denna typ av aggressiv skrapning började dyka upp i slutet av 2024 över Nordamerika, Europa och Oceanien, och experter sa till CBC News att problemet har fortsatt att förvärras sedan dess. Allt eftersom AI-företag tävlar för att säkra utbildningsdata av hög kvalitet – och allt eftersom den öppna webbens utgivare blockerar sökrobotar – fortsätter poolerna av obevakad, högkvalitativ text att krympa och trycket på institutioner som vägrar att låsa ner sina samlingar ökar.
Det trycket har en kostnad. Strykowski sa att botarna "orsakar otroligt mycket arbete och huvudvärk för varje institution som gör digitaliseringsarbete och varje institution som försöker göra information öppet tillgänglig." Biblioteken måste nu köra bot-filtreringsinfrastruktur, jaga missbrukande sökrobotar och absorbera avbrott – spendera knapp budget på försvar snarare än digitalisering och åtkomst.
En extraktiv relation, säger kritiker
Utöver den tekniska bördan har avsnittet återupplivat en välbekant kritik av hur AI-företag behandlar institutioner av allmänt intresse. Peter Lewis, Canada Research Chair i Trustworthy Artificial Intelligence vid Ontario Tech University, sa till CBC att mönstret motsvarar att stora privata företag använder sig av allmännyttiga institutioner "på ett sätt som är mycket extraktivt" - förutsatt att offentligt material är gratis att ta, sedan använder det för att bygga mycket kommersiella modeller som säljs tillbaka till samma publik.
Dynamiken ekar tidigare konflikter mellan AI-utvecklare och nyhetsutgivare, författare och artister, men med en twist: bibliotek har sällan juridiska avdelningar eller betalväggar att falla tillbaka på. Deras mandat är att göra information öppet tillgänglig, vilket gör blockering av trafik – även fientlig trafik – till en direkt motsägelse av deras uppdrag.
Bra bots, dåliga bots och vad som kommer härnäst
CBC-rapporten konstaterar att inte all automatiserad trafik är fientlig, och biblioteken skiljer mellan väluppfostrade sökrobotar som respekterar hastighetsgränser och robots.txt-uteslutningar och de mycket mindre artiga skördarna som hamrar på sina arkiv. Svårigheten är skalan: även en andel av kränkande trafik som är liten nog att glida förbi individuella taxeringsregler blir förkrossande när tusentals kunder koordinerar eller roterar identiteter.
Institutioner svarar med en blandning av taktik – hastighetsbegränsning, bot-fingeravtryck, blockering av kända skraparnätverk och i vissa fall ta insamlingar offline helt under attacker. Ingen av dessa är gratis, och alla försämrar den öppna åtkomst som bibliotek finns för att ge.
Ironin är svår att missa: samma institutioner som ägnade årtionden åt att digitalisera mänsklighetens registrerade kunskap så att vem som helst kunde läsa den gratis, tvingas nu stänga sina digitala dörrar eftersom AI-system vill läsa allt på en gång. Hur bibliotek, finansiärer och AI-företag löser den spänningen – oavsett om det är genom licensavtal, kompenserad åtkomst eller striktare teknisk efterlevnad – kommer att forma hur den öppna webben av information om utbildning och datakvalitet ser ut i många år framöver.
För närvarande är de som fångas i mitten läsarna. Som Seemans erfarenhet vid University of Victoria visar, tar varje avbrott som orsakas av en botsvärm bort allmänhetens tillgång.
---
Stay Ahead of AIGet the latest AI news, analysis, and breakthroughs — all in one place.
Read more AI news →
