Bibliotecas acadêmicas em todo o mundo estão lutando contra enxames implacáveis de bots de coleta de dados de IA que estão deixando seus sites lentos ou travando, de acordo com um relatório da CBC News. Os bots, usados por empresas de IA e serviços de terceiros para colher conteúdo para treinar grandes modelos de linguagem, estão colocando coleções digitais inteiras off-line e forçando as bibliotecas a escolher entre o acesso aberto e permanecer on-line.
Os alvos não são aleatórios. Bibliotecas, museus e outras instituições de patrimônio cultural detêm grandes volumes de informações de qualidade e verificadas que geralmente não ficam escondidas atrás de acessos pagos ou logins – exatamente o tipo de texto limpo e confiável que os desenvolvedores de IA valorizam para modelos de treinamento como Claude, Gemini e ChatGPT. Para mais contexto sobre esta história, confira nossa atualizações de inteligência artificial.
Coleções eliminadas off-line
A escala do problema cresceu ao ponto de arquivos inteiros se tornarem inacessíveis. “Às vezes, o tráfego de bots fica tão ruim que faz com que os sites fiquem completamente fora do ar por um tempo”, disse Dean Seeman, diretor de coleções e infraestrutura digital das Bibliotecas da Universidade de Victoria, no relatório da CBC. Ele descreveu as interrupções como criando um “problema real” para o acesso público – quando o site de uma biblioteca entra em colapso devido ao tráfego de bots, estudantes, pesquisadores e cidadãos comuns ficam bloqueados junto com as máquinas.
Na San Jose State University, a experiência é de pressão constante. “Eles estão por aí na internet, apenas nos bombardeando tentando obter o máximo de material possível”, disse Jill Strykowski, líder de catalogação e documentos governamentais da universidade. A sua instituição digitaliza documentos governamentais e outros materiais públicos, tornando-a um excelente local de alimentação para raspadores.
O relatório descreve uma escola que foi sobrecarregada por mais de 11.000 pesquisas sobre música finlandesa num único dia – tráfego que nenhum público humano poderia gerar de forma plausível e o tipo de rastreamento de alto volume e foco restrito, típico de operações de colheita automatizadas.
Um problema que continua crescendo
Os investigadores que acompanham o fenómeno descobriram que relatos deste tipo de raspagem agressiva começaram a aparecer no final de 2024 na América do Norte, Europa e Oceânia, e especialistas disseram à CBC News que o problema continuou a piorar desde então. À medida que as empresas de IA correm para garantir dados de formação de alta qualidade — e à medida que os editores da web aberta bloqueiam cada vez mais os rastreadores — os conjuntos de textos desprotegidos e de alta qualidade continuam a diminuir e a pressão sobre as instituições que se recusam a bloquear as suas coleções continua a aumentar.
Essa pressão tem um custo. Strykowski disse que os bots estão “causando uma quantidade incrível de trabalho e dor de cabeça para todas as instituições que realizam trabalho de digitalização e para todas as instituições que estão tentando disponibilizar informações abertamente”. As bibliotecas devem agora executar infraestruturas de filtragem de bots, perseguir rastreadores abusivos e absorver interrupções – gastando o escasso orçamento em defesa, em vez de digitalização e acesso.
Uma relação extrativista, dizem os críticos
Para além da carga técnica, o episódio reavivou uma crítica conhecida sobre a forma como as empresas de IA tratam as instituições de interesse público. Peter Lewis, Presidente de Pesquisa do Canadá em Inteligência Artificial Confiável na Ontario Tech University, disse à CBC que o padrão equivale a grandes empresas privadas que fazem uso de instituições de bem comum "de uma forma que é muito extrativa" - assumindo que o material público é gratuito para uso e depois usando-o para construir modelos altamente comerciais que são vendidos de volta ao mesmo público.
A dinâmica ecoa conflitos anteriores entre desenvolvedores de IA e editores de notícias, autores e artistas, mas com uma diferença: as bibliotecas raramente têm departamentos jurídicos ou acessos pagos aos quais recorrer. O seu mandato é disponibilizar abertamente a informação, o que torna o bloqueio do tráfego – mesmo o tráfego hostil – uma contradição directa da sua missão.
Bots bons, bots ruins e o que vem a seguir
O relatório da CBC observa que nem todo o tráfego automatizado é hostil, e as bibliotecas distinguem entre rastreadores bem comportados que respeitam limites de taxa e exclusões de robots.txt e os coletores muito menos educados que martelam seus arquivos. A dificuldade é a escala: mesmo uma parcela do tráfego abusivo pequena o suficiente para escapar às regras tarifárias individuais torna-se esmagadora quando milhares de clientes coordenam ou alternam identidades.
As instituições estão respondendo com uma combinação de táticas – limitação de taxas, impressão digital de bots, bloqueio de redes de scrapers conhecidas e, em alguns casos, retirada de coleções totalmente offline durante ataques. Nenhum deles é gratuito e todos degradam o acesso aberto que as bibliotecas existem para fornecer.
A ironia é difícil de ignorar: as mesmas instituições que passaram décadas a digitalizar o conhecimento registado da humanidade para que qualquer um pudesse lê-lo gratuitamente estão agora a ser forçadas a fechar as suas portas digitais porque os sistemas de IA querem ler tudo de uma vez. A forma como as bibliotecas, os financiadores e as empresas de IA resolvem essa tensão – seja através de acordos de licenciamento, acesso compensado ou aplicação técnica mais rigorosa – moldará o que será a rede aberta de informações de qualidade de dados de formação nos próximos anos.
Por enquanto, as pessoas apanhadas no meio são os leitores. Como mostra a experiência de Seeman na Universidade de Victoria, cada interrupção causada por um enxame de bots prejudica o acesso público.
---
Fique à Frente da IAAs últimas notícias, análises e avanços em inteligência artificial — tudo em um só lugar.
Ler mais notícias de IA →
