据 CBC 新闻报道，世界各地的学术图书馆正在与无情的人工智能数据抓取机器人作斗争，这些机器人正在减慢或导致其网站崩溃。人工智能公司和第三方服务使用这些机器人来收集用于训练大型语言模型的内容，它们正在使整个数字馆藏离线，并迫使图书馆在开放获取和保持在线之间做出选择。

目标不是随机的。图书馆、博物馆和其他文化遗产机构拥有大量经过审查的高质量信息，这些信息通常不会隐藏在付费墙或登录后面——正是人工智能开发人员为 Claude、Gemini 和 ChatGPT 等培训模型所青睐的干净、权威的文本。 更多相关背景，请参阅我们的人工智能资讯。

收藏品已下线

问题的规模已经发展到整个档案都无法访问的程度。维多利亚大学图书馆馆藏和数字基础设施主管 Dean Seeman 在 CBC 的报告中表示：“有时，机器人流量会变得非常糟糕，导致网站完全瘫痪一段时间。”他将这些中断描述为公共访问造成了“真正的问题”——当图书馆的网站因机器人流量而崩溃时，学生、研究人员和普通公民与机器一起被锁在外面。

在圣何塞州立大学，经历是一种持续的压力。 “他们只是在互联网上轰炸我们，试图获取尽可能多的材料，”该大学编目和政府文件负责人吉尔·斯特里科斯基(Jill Strykowski)说。她的机构将政府文件和其他公共材料数字化，使其成为爬虫的主要滋生地。

该报告描述了一所学校在一天之内被超过 11,000 次芬兰音乐搜索所淹没的情况——人类观众无法合理产生这样的流量，以及自动化收获操作中典型的狭隘、高容量的爬行。

一个不断加剧的问题

跟踪这一现象的研究人员发现，这种攻击性抓取的报告从 2024 年底开始出现在北美、欧洲和大洋洲，专家告诉 CBC 新闻，此后问题继续恶化。随着人工智能公司竞相获取高质量的训练数据，以及开放网络的出版商越来越多地阻止爬虫，不受保护的高质量文本池不断缩小，拒绝锁定其馆藏的机构面临的压力不断加大。

这种压力是有代价的。 Strykowski 表示，这些机器人“给每个从事数字化工作的机构以及每个试图公开信息的机构带来了令人难以置信的大量工作和头痛。”图书馆现在必须运行机器人过滤基础设施，追捕滥用的爬虫，并吸收中断——将稀缺的预算用于防御，而不是数字化和访问。

批评者称，这是一种榨取关系

除了技术负担之外，这一事件还再次引发了人们对人工智能公司如何对待公共利益机构的常见批评。安大略理工大学可信人工智能加拿大研究主席彼得·刘易斯（Peter Lewis）告诉加拿大广播公司，这种模式相当于大型私营公司“以一种非常榨取的方式”利用公共利益机构——假设公共材料是免费的，然后用它来建立高度商业化的模型，然后卖回给同样的公众。

这种动态呼应了人工智能开发者与新闻出版商、作者和艺术家之间早期的冲突，但有一个转折：图书馆很少有法律部门或付费墙可以依靠。他们的任务是公开提供信息，这使得阻塞交通——甚至是敌对交通——与他们的使命直接矛盾。

好机器人、坏机器人以及接下来会发生什么

CBC 的报告指出，并非所有自动流量都是敌对的，图书馆确实区分了遵守速率限制和 robots.txt 排除的行为良好的爬虫，以及破坏其档案的不太礼貌的收割者。困难在于规模：当成千上万的客户协调或轮换身份时，即使是一小部分滥用流量小到可以忽略单独的费率规则，也会变得具有毁灭性。

各机构正在采取多种策略来应对——速率限制、机器人指纹识别、阻止已知的抓取网络，以及在某些情况下在攻击期间完全离线收集数据。这些都不是免费的，而且都降低了图书馆提供的开放获取能力。

具有讽刺意味的是：那些花了几十年时间将人类记录的知识数字化以便任何人都可以免费阅读的机构现在却被迫关闭了数字大门，因为人工智能系统想要立即读取所有内容。图书馆、资助者和人工智能公司如何解决这种紧张局势——无论是通过许可协议、有偿访问还是更严格的技术执行——将塑造未来几年开放的培训数据质量信息网络的面貌。

目前，夹在中间的人是读者。正如西曼在维多利亚大学的经验所表明的那样，每次由机器人群引起的中断都会导致公共访问中断。

---

掌握AI最新动态

获取最新的AI新闻、分析和突破——尽在一处。

阅读更多AI新闻 →