Según un informe de CBC News, las bibliotecas académicas de todo el mundo están luchando contra enjambres implacables de robots de extracción de datos de inteligencia artificial que ralentizan o bloquean sus sitios web. Los bots, utilizados por empresas de inteligencia artificial y servicios de terceros para recopilar contenido para entrenar grandes modelos lingüísticos, están dejando fuera de línea colecciones digitales enteras y obligando a las bibliotecas a elegir entre el acceso abierto o permanecer en línea.
Los objetivos no son aleatorios. Las bibliotecas, museos y otras instituciones de patrimonio cultural contienen grandes volúmenes de información examinada y de calidad que generalmente no está oculta detrás de muros de pago o inicios de sesión: exactamente el tipo de texto limpio y autorizado que los desarrolladores de IA valoran para modelos de entrenamiento como Claude, Gemini y ChatGPT. Para más contexto sobre esta historia, consulta nuestra novedades de IA.
Colecciones desconectadas
La magnitud del problema ha crecido hasta el punto de que archivos enteros se vuelven inaccesibles. "A veces el tráfico de bots es tan intenso que hace que los sitios caigan completamente durante un tiempo", dijo Dean Seeman, director de colecciones e infraestructura digital de las Bibliotecas de la Universidad de Victoria, en el informe de CBC. Describió las interrupciones como la creación de un "problema real" para el acceso público: cuando el sitio de una biblioteca colapsa debido al tráfico de robots, los estudiantes, investigadores y ciudadanos comunes quedan bloqueados junto con las máquinas.
En la Universidad Estatal de San José, la experiencia es de presión constante. "Están ahí afuera en Internet, bombardeándonos para tratar de conseguir la mayor cantidad de material posible", dijo Jill Strykowski, líder de catalogación y documentos gubernamentales de la universidad. Su institución digitaliza documentos gubernamentales y otros materiales públicos, lo que la convierte en un caldo de cultivo ideal para los raspadores.
El informe describe una escuela que se vio abrumada por más de 11.000 búsquedas sobre música finlandesa en un solo día: tráfico que ninguna audiencia humana podría generar de manera plausible y el tipo de rastreo de alto volumen y con un enfoque limitado típico de las operaciones de recolección automatizadas.
Un problema que sigue creciendo
Los investigadores que siguieron el fenómeno descubrieron que informes de este tipo de raspado agresivo comenzaron a aparecer a finales de 2024 en América del Norte, Europa y Oceanía, y los expertos dijeron a CBC News que el problema ha seguido empeorando desde entonces. A medida que las empresas de inteligencia artificial se apresuran a asegurar datos de capacitación de alta calidad (y a medida que los editores de la web abierta bloquean cada vez más a los rastreadores), los grupos de texto no vigilados y de alta calidad siguen reduciéndose, y la presión sobre las instituciones que se niegan a bloquear sus colecciones sigue aumentando.
Esa presión tiene un costo. Strykowski dijo que los bots están "causando una increíble cantidad de trabajo y dolores de cabeza para cada institución que realiza trabajos de digitalización y cada institución que intenta hacer que la información esté disponible abiertamente". Las bibliotecas ahora deben ejecutar una infraestructura de filtrado de robots, perseguir rastreadores abusivos y absorber las interrupciones, gastando su escaso presupuesto en defensa en lugar de digitalización y acceso.
Una relación extractiva, dicen los críticos
Más allá de la carga técnica, el episodio ha reavivado una crítica familiar sobre cómo las empresas de IA tratan a las instituciones de interés público. Peter Lewis, catedrático de investigación de Canadá en Inteligencia Artificial Confiable en la Universidad Tecnológica de Ontario, dijo a CBC que el patrón equivale a que grandes empresas privadas hagan uso de instituciones de bien común "de una manera que es muy extractiva", asumiendo que el material público es gratuito y luego usándolo para construir modelos altamente comerciales que se venden nuevamente al mismo público.
La dinámica se hace eco de conflictos anteriores entre los desarrolladores de IA y los editores de noticias, autores y artistas, pero con un giro: las bibliotecas rara vez tienen departamentos legales o muros de pago a los que recurrir. Su mandato es hacer que la información esté disponible abiertamente, lo que hace que bloquear el tráfico (incluso el tráfico hostil) sea una contradicción directa de su misión.
Bots buenos, bots malos y lo que viene después
El informe de CBC señala que no todo el tráfico automatizado es hostil, y las bibliotecas distinguen entre rastreadores de buen comportamiento que respetan los límites de velocidad y las exclusiones de robots.txt y los recolectores, mucho menos educados, que atacan sus archivos. La dificultad es la escala: incluso una porción del tráfico abusivo lo suficientemente pequeña como para eludir las reglas de tarifas individuales se vuelve aplastante cuando miles de clientes coordinan o rotan identidades.
Las instituciones están respondiendo con una combinación de tácticas: limitación de tasas, toma de huellas dactilares de bots, bloqueo de redes de raspadores conocidas y, en algunos casos, desconectar completamente las colecciones durante los ataques. Ninguno de ellos es gratuito y todos degradan el acceso abierto que las bibliotecas pretenden ofrecer.
Es difícil pasar por alto la ironía: las mismas instituciones que pasaron décadas digitalizando el conocimiento registrado de la humanidad para que cualquiera pudiera leerlo gratis ahora se ven obligadas a cerrar sus puertas digitales porque los sistemas de inteligencia artificial quieren leer todo a la vez. La forma en que las bibliotecas, los financiadores y las empresas de inteligencia artificial resuelvan esa tensión (ya sea mediante acuerdos de licencia, acceso compensado o una aplicación técnica más estricta) determinará cómo será la red abierta de información de calidad de datos de capacitación en los años venideros.
Por ahora, las personas atrapadas en el medio son los lectores. Como muestra la experiencia de Seeman en la Universidad de Victoria, cada interrupción causada por un enjambre de robots acaba con el acceso público.
---
Mantente al Día con la IALas últimas noticias, análisis y avances de inteligencia artificial, en un solo lugar.
Leer más noticias de IA →
