Les bibliothèques universitaires du monde entier luttent contre des essaims incessants de robots IA récupérant des données qui ralentissent ou font planter leurs sites Web, selon un rapport de CBC News. Les robots, utilisés par les sociétés d'IA et les services tiers pour récolter du contenu afin de former de grands modèles linguistiques, mettent hors ligne des collections numériques entières et obligent les bibliothèques à choisir entre le libre accès et le maintien en ligne.
Les cibles ne sont pas aléatoires. Les bibliothèques, les musées et autres institutions du patrimoine culturel détiennent de grands volumes d'informations de qualité et vérifiées qui ne sont généralement pas cachées derrière des paywalls ou des connexions – exactement le genre de texte clair et faisant autorité que les développeurs d'IA apprécient pour des modèles de formation comme Claude, Gemini et ChatGPT. Pour plus de contexte sur cette histoire, consultez notre tendances IA.
Collections mises hors ligne
L'ampleur du problème a pris une telle ampleur que des archives entières deviennent inaccessibles. "Parfois, le trafic des robots devient si important qu'il provoque la fermeture complète des sites pendant un petit moment", a déclaré Dean Seeman, directeur des collections et de l'infrastructure numérique aux bibliothèques de l'Université de Victoria, dans le reportage de CBC. Il a décrit les pannes comme créant un « réel problème » pour l'accès public : lorsque le site d'une bibliothèque s'effondre sous le trafic de robots, les étudiants, les chercheurs et les citoyens ordinaires sont bloqués avec les machines.
À l’Université d’État de San Jose, l’expérience est celle d’une pression constante. "Ils sont simplement sur Internet, nous bombardant d'efforts pour récupérer autant de documents que possible", a déclaré Jill Strykowski, responsable du catalogage et des documents gouvernementaux de l'université. Son institution numérise les documents gouvernementaux et autres documents publics, ce qui en fait un terrain de prédilection pour les grattoirs.
Le rapport décrit une école qui a été submergée par plus de 11 000 recherches sur la musique finlandaise en une seule journée – un trafic qu’aucun public humain ne pourrait vraisemblablement générer et le type d’exploration étroite et à volume élevé typique des opérations de récolte automatisées.
Un problème qui ne cesse de croître
Les chercheurs qui suivent le phénomène ont découvert que des rapports faisant état de ce type de grattage agressif ont commencé à apparaître fin 2024 en Amérique du Nord, en Europe et en Océanie, et des experts ont déclaré à CBC News que le problème a continué de s'aggraver depuis. Alors que les sociétés d'IA s'efforcent d'obtenir des données de formation de haute qualité – et que les éditeurs du Web ouvert bloquent de plus en plus les robots d'exploration – les réserves de textes de haute qualité non surveillés ne cessent de diminuer, et la pression sur les institutions qui refusent de verrouiller leurs collections ne cesse d'augmenter.
Cette pression a un coût. Strykowski a déclaré que les robots « causent une quantité incroyable de travail et de maux de tête à chaque institution qui effectue un travail de numérisation et à chaque institution qui essaie de rendre l'information ouvertement accessible ». Les bibliothèques doivent désormais gérer une infrastructure de filtrage des robots, chasser les robots d’exploration abusifs et absorber les pannes – en consacrant un budget limité à la défense plutôt qu’à la numérisation et à l’accès.
Une relation extractive, disent les critiques
Au-delà du fardeau technique, l’épisode a ravivé une critique familière sur la manière dont les sociétés d’IA traitent les institutions d’intérêt public. Peter Lewis, titulaire de la Chaire de recherche du Canada sur l'intelligence artificielle digne de confiance à l'Université Tech de l'Ontario, a déclaré à CBC que la tendance revient à de grandes entreprises privées qui utilisent des institutions de bien commun « d'une manière très extractive » — en supposant que le matériel public est gratuit, puis à l'utiliser pour construire des modèles hautement commerciaux qui sont revendus au même public.
Cette dynamique fait écho aux conflits antérieurs entre les développeurs d’IA et les éditeurs de presse, les auteurs et les artistes, mais avec une particularité : les bibliothèques disposent rarement de services juridiques ou de paywalls sur lesquels s’appuyer. Leur mandat est de rendre l’information ouvertement accessible, ce qui fait du blocage du trafic – même hostile – une contradiction directe avec leur mission.
Bons robots, mauvais robots et ce qui vient ensuite
Le rapport de CBC note que tout le trafic automatisé n'est pas hostile, et les bibliothèques font la distinction entre les robots d'exploration bien élevés qui respectent les limites de débit et les exclusions de robots.txt et les moissonneurs beaucoup moins polis qui martelent leurs archives. La difficulté réside dans l’échelle : même une part du trafic abusif suffisamment petite pour contourner les règles tarifaires individuelles devient écrasante lorsque des milliers de clients coordonnent ou alternent leurs identités.
Les institutions réagissent par un mélange de tactiques : limitation du débit, empreintes digitales des robots, blocage des réseaux de grattage connus et, dans certains cas, mise hors ligne complète des collections lors d'attaques. Aucun de ces éléments n’est gratuit et tous dégradent l’accès libre que les bibliothèques sont censées offrir.
L'ironie est difficile à ignorer : les mêmes institutions qui ont passé des décennies à numériser les connaissances enregistrées de l'humanité afin que tout le monde puisse les lire gratuitement sont maintenant poussées à fermer leurs portes numériques parce que les systèmes d'IA veulent tout lire en même temps. La manière dont les bibliothèques, les bailleurs de fonds et les sociétés d’IA résolvent cette tension – que ce soit par le biais d’accords de licence, d’un accès rémunéré ou d’une application technique plus stricte – façonnera ce à quoi ressemblera le Web ouvert d’informations sur la qualité des données de formation pour les années à venir.
Pour l’instant, les personnes prises au milieu sont les lecteurs. Comme le montre l'expérience de Seeman à l'Université de Victoria, chaque panne causée par un essaim de robots entraîne avec elle l'accès public.
---
Restez à la Pointe de l'IALes dernières actualités, analyses et percées en IA — au même endroit.
Lire plus d'actualités IA →
