网络基础设施公司 Cloudflare 推出了一种新的控件，可以让网站发布者阻止其内容用于 AI 模型训练，同时保持其在传统搜索结果中完全可用——这种解耦是爬虫生态系统以前从未明确支持过的。
该功能于 9 月 15 日在 Cloudflare 博客上宣布，同时还为爬虫操作员提供了新的“Accountable”称号。据 Cloudflare 称，苹果、谷歌和微软是第一批拥有符合资格的爬虫的公司。今年追踪突发人工智能新闻的任何人都知道谁可以抓取已发布内容的问题已经成为互联网上最具争议的政策斗争之一。
混合用途爬行器问题
核心问题是 Cloudflare 所说的混合用途爬虫：单个机器人，如 Googlebot、Bingbot 和 Applebot，它们获取页面以构建搜索索引并收集 AI 模型的训练数据。从历史上看，想要选择退出人工智能培训的网站所有者有一个生硬的工具 - robots.txt 不允许 - 并且使用它可能会从搜索结果中完全消失。
Cloudflare 的新“禁止 AI 训练”设置以其在站点的 robots.txt 文件中发布的指令命名。启用后，网站的无训练首选项将同步到 robots.txt，仍允许使用负责任的混合用途爬网程序进行搜索，并阻止所有其他训练爬网程序。 Cloudflare 指出，阻止仅训练爬虫（它命名为 Amazon、Anthropic、Meta 和 OpenAI 运行的训练爬虫）从一开始就不会影响搜索。
是什么让爬虫“负责任”
要获得责任指定，机器人操作员必须满足或承诺满足博客文章中列出的一组要求：
- 网站所有者通过 robots.txt 或类似标准选择退出人工智能培训的机制
- 选择退出 AI 摘要的机制，直接与运营商设置，明年将通过 Cloudflare 设置
- URL 级别可见性，可了解哪些页面可用于培训，以及显示内容在搜索中如何显示的指标
- 确保选择退出人工智能训练不会影响传统搜索排名
Cloudflare 表示，苹果、谷歌和微软目前证明他们符合资格，将现有的功能与仍在开发的功能的有时限承诺相结合。
新设置、已弃用的工具
这一变化重新设计了 Cloudflare 的机器人管理控制，现在将爬虫流量分为三种行为：搜索、训练和代理。添加“禁止 AI 训练”后，可用的设置有“允许”、“禁止 AI 训练”、“阻止带有广告的页面”和“阻止”。
两个长期存在的工具正在被弃用。广泛的“阻止 AI 机器人”选项让位于更精细的搜索、培训和代理控制，并且 Managed Robots.txt 被名为 Bot Preference Sync 的系统取代，现有客户会自动迁移。 Disallow AI Training 也将成为 Cloudflare 针对某些新域的推荐配置的一部分。
最重要的切换涉及阻止设置本身。此前，阻止和“阻止带有广告的页面”不适用于混合用途爬虫，因为阻止它们可能会损害搜索的可发现性。截至 9 月 15 日，这些设置现在适用于所有训练爬虫，包括 Applebot、Bingbot 和 Googlebot，这意味着选择 Block 的网站现在接受该选择的搜索排名结果。
还没有对特工“禁止”
还剩一处差距。 Cloudflare 的代理类别涵盖用户控制的代理，例如代表个人访问页面的浏览器使用代理和聊天获取机器人。该公司写道，代理不会像混合用途爬虫那样创建相同的搜索-可发现性权衡，并且互联网缺乏向代理表达不允许偏好的完善指令。目前，代理还没有“禁止”设置，但 Cloudflare 表示，随着 ai-prefs 等标准的成熟，它将重新审视该方法。
为什么这对出版商很重要
对于新闻机构和内容网站来说，这一公告是出版业和人工智能开发者之间对峙中迄今为止最接近可行的中间道路的事情。出版商辩称，未经付费或未经许可对其作品进行培训是一种榨取行为；人工智能公司辩称，爬行是标准做法，robots.txt 从来就不是为了人工智能时代的区别而设计的。
通过正式指定将搜索索引与训练使用分开的爬虫，并通过默认控制强制执行，Cloudflare 有效地要求 AI 实验室和平台公司以有利于发布商的条款进行竞争。三个创始的 Accountable 运营商恰好都是核心业务依赖于搜索和操作系统而不是模型训练的公司，这不太可能是巧合。
悬而未决的问题是执法和经济。 Cloudflare 可以对行为进行分类并同步偏好，但培训许可证的财务条款仍然是出版商和人工智能公司之间的私人市场问题。本周发生的变化更加平凡，也更加有意义：一个对人工智能培训说不的网站现在可以在不牺牲其在搜索结果中的地位的情况下做到这一点。对于一个同时关注推荐流量和培训纠纷的行业来说，这种分离已经发生了很长时间。
---
保持人工智能领先地位获取最新的人工智能新闻、分析和突破——尽在一个地方。
阅读更多人工智能新闻 →
