Laut einem Bericht von CBC News bekämpfen akademische Bibliotheken auf der ganzen Welt unerbittliche Schwärme von KI-Daten-Scraping-Bots, die ihre Websites verlangsamen oder zum Absturz bringen. Die Bots, die von KI-Unternehmen und Drittanbietern zum Sammeln von Inhalten für das Training großer Sprachmodelle verwendet werden, führen dazu, dass ganze digitale Sammlungen offline gehen und Bibliotheken gezwungen werden, sich zwischen Open Access und dem Verbleib online zu entscheiden.
Die Ziele sind nicht zufällig. Bibliotheken, Museen und andere Einrichtungen des Kulturerbes verfügen über große Mengen hochwertiger, geprüfter Informationen, die im Allgemeinen nicht hinter Paywalls oder Logins verborgen sind – genau die Art von sauberem, verbindlichem Text, den KI-Entwickler für Trainingsmodelle wie Claude, Gemini und ChatGPT schätzen. Weitere Informationen zu dieser Geschichte finden Sie in unserer mehr KI-Geschichten.
Sammlungen offline geschaltet
Das Ausmaß des Problems ist so weit gewachsen, dass ganze Archive nicht mehr zugänglich sind. „Manchmal wird der Bot-Verkehr so schlimm, dass die Websites für kurze Zeit komplett ausfallen“, sagte Dean Seeman, Direktor für Sammlungen und digitale Infrastruktur an den University of Victoria Libraries, im CBC-Bericht. Er beschrieb die Ausfälle als ein „echtes Problem“ für den öffentlichen Zugang: Wenn die Website einer Bibliothek unter dem Bot-Verkehr zusammenbricht, werden Studenten, Forscher und normale Bürger zusammen mit den Maschinen ausgesperrt.
An der San Jose State University herrscht ständiger Druck. „Sie sind einfach da draußen im Internet und bombardieren uns damit, so viel Material wie möglich zu beschaffen“, sagte Jill Strykowski, Leiterin der Katalogisierung und Regierungsdokumente der Universität. Ihre Einrichtung digitalisiert Regierungsdokumente und andere öffentliche Materialien und ist damit ein erstklassiger Nährboden für Schaber.
Der Bericht beschreibt eine Schule, die an einem einzigen Tag von mehr als 11.000 Suchanfragen nach finnischer Musik überschwemmt wurde – Traffic, den kein menschliches Publikum glaubhaft erzeugen konnte, und die Art von eng fokussiertem, hochvolumigem Crawling, das typisch für automatisierte Erntevorgänge ist.
Ein Problem, das immer größer wird
Forscher, die das Phänomen verfolgten, stellten fest, dass Berichte über diese Art von aggressivem Schaben ab Ende 2024 in Nordamerika, Europa und Ozeanien auftauchten, und Experten sagten gegenüber CBC News, dass sich das Problem seitdem weiter verschlimmert habe. Während KI-Unternehmen darum kämpfen, qualitativ hochwertige Trainingsdaten zu sichern – und da die Herausgeber des offenen Webs zunehmend Crawler blockieren – wird der Bestand an unbewachtem, qualitativ hochwertigem Text immer kleiner und der Druck auf Institutionen, die sich weigern, ihre Sammlungen zu sperren, steigt immer weiter.
Dieser Druck hat seinen Preis. Strykowski sagte, die Bots bereiten „jeder Institution, die Digitalisierungsarbeit leistet, und jeder Institution, die versucht, Informationen offen zugänglich zu machen, unglaublich viel Arbeit und Kopfschmerzen.“ Bibliotheken müssen nun eine Bot-Filter-Infrastruktur betreiben, missbräuchliche Crawler jagen und Ausfälle auffangen – und dabei ihr knappes Budget eher für die Verteidigung als für Digitalisierung und Zugang ausgeben.
Eine extraktive Beziehung, sagen Kritiker
Über die technische Belastung hinaus hat die Episode eine bekannte Kritik daran wiederbelebt, wie KI-Unternehmen mit Institutionen von öffentlichem Interesse umgehen. Peter Lewis, Canada Research Chair für vertrauenswürdige künstliche Intelligenz an der Ontario Tech University, sagte gegenüber CBC, das Muster laufe darauf hinaus, dass große private Unternehmen Gemeinwohl-Institutionen „auf eine sehr extraktive Weise“ nutzen – vorausgesetzt, öffentliches Material sei frei zugänglich und nutze es dann, um hochkommerzielle Modelle zu bauen, die an die gleiche Öffentlichkeit zurückverkauft werden.
Die Dynamik erinnert an frühere Konflikte zwischen KI-Entwicklern und Nachrichtenverlegern, Autoren und Künstlern, allerdings mit einer Wendung: Bibliotheken verfügen selten über Rechtsabteilungen oder Paywalls, auf die sie zurückgreifen können. Ihr Auftrag besteht darin, Informationen offen zugänglich zu machen, was die Blockierung des Datenverkehrs – selbst des feindlichen Datenverkehrs – in direkten Widerspruch zu ihrer Mission stellt.
Gute Bots, schlechte Bots und was als nächstes kommt
Der CBC-Bericht stellt fest, dass nicht der gesamte automatisierte Datenverkehr feindselig ist und dass Bibliotheken zwischen gut erzogenen Crawlern, die Ratenlimits und robots.txt-Ausschlüsse respektieren, und den weitaus weniger höflichen Harvestern, die ihre Archive hämmern, unterscheiden. Die Schwierigkeit liegt in der Größenordnung: Selbst ein Anteil des missbräuchlichen Datenverkehrs, der klein genug ist, um die individuellen Tarifregeln zu umgehen, wird erdrückend, wenn Tausende von Kunden ihre Identitäten koordinieren oder wechseln.
Institutionen reagieren mit einer Mischung aus Taktiken – Ratenbegrenzung, Bot-Fingerprinting, Blockierung bekannter Scraper-Netzwerke und in einigen Fällen die vollständige Offlineschaltung von Sammlungen während Angriffen. Keines davon ist kostenlos und alle beeinträchtigen den offenen Zugang, den Bibliotheken bieten sollen.
Die Ironie ist kaum zu übersehen: Dieselben Institutionen, die Jahrzehnte damit verbracht haben, das aufgezeichnete Wissen der Menschheit zu digitalisieren, damit jeder es kostenlos lesen kann, werden jetzt dazu gedrängt, ihre digitalen Türen zu schließen, weil KI-Systeme alles auf einmal lesen wollen. Die Art und Weise, wie Bibliotheken, Geldgeber und KI-Unternehmen diese Spannungen lösen – sei es durch Lizenzvereinbarungen, entgeltlichen Zugang oder strengere technische Durchsetzung – wird in den kommenden Jahren prägen, wie das offene Netz von Informationen in Trainingsdatenqualität aussieht.
Die Menschen, die in der Mitte gefangen sind, sind vorerst die Leser. Wie Seemans Erfahrung an der University of Victoria zeigt, beeinträchtigt jeder durch einen Bot-Schwarm verursachte Ausfall den öffentlichen Zugang.
---
Bleib vorne bei KIDie neuesten KI-Nachrichten, Analysen und Durchbrüche – alles an einem Ort.
Mehr KI-Nachrichten lesen →
