OpenAI、谷歌和微软支持共享 Robots.txt 信号以选择退出人工智能培训

OpenAI 表示，它将尊重共享的 robots.txt 信号，以便网站可以跨提供商设置一个人工智能训练偏好。据报道，谷歌和微软也加入了这一努力。

OpenAI 周四宣布，它将尊重 robots.txt 中的共享信号，网站使用该文件来传达如何访问其内容，以便网站运营商可以同时向多个提供商表达单一的 AI 训练偏好，而不是为每个爬虫维护单独的规则。据 The Verge 报道，谷歌和微软也支持这项工作，搜索引擎圆桌会议记录了两家公司在同一天发布的采用公告。

此举解决了出版商长期存在的痛点。到目前为止，想要将其内容排除在人工智能训练管道之外的网站必须单独识别每个人工智能爬虫，并为每个提供商编写单独的规则，然后在新爬虫出现时保持该列表最新。一个共同的信号将维护负担分解为一个意图，参与公司同意尊重这一意图。更多相关背景，请参阅我们的人工智能资讯。

OpenAI 的承诺

根据 Unite.AI 对公告的描述，OpenAI 在其公告中将这一努力描述为自愿行为，并表示其目标是在未来几个月内实施该信号，实施细节将在稍后更新。该公司表示，新信号不会取代已经通过 robots.txt 提供的控制措施，该控制措施将继续适用并受到尊重。

OpenAI 的这项工作借鉴了互联网工程任务组人工智能偏好工作组的持续努力，该标准机构一直致力于定义网站如何表达关于其内容在人工智能系统中如何使用的机器可读偏好。该公司表示，它正在与其他工作组参与者一起宣布这一消息，并鼓励其他人工智能提供商也遵守这一信号。

Google 和 Microsoft 登录

该公告的重要性在很大程度上取决于还有谁采用该标准，早期迹象表明最大的参与者都已加入。搜索引擎圆桌会议周四报道称，谷歌已采用新的人工智能训练控件，并单独报道了微软的必应宣布与其人工智能搜索基础产品相连的新人工智能训练控件。据 The Verge 报道，OpenAI、谷歌和微软正在支持新的网站标准，这将使其成为首个由爬虫公司支持的此类跨行业公约，这些公司的爬虫占据了人工智能相关抓取的大部分。

如果这三家公司坚持到底，网站运营商将能够设置一个单一的培训选择退出，ChatGPT、谷歌的人工智能产品和微软的 Copilot 生态系统背后的爬虫可以同时理解这一点。对于发布者来说，这是一个比当前世界更简单的世界，每个提供商都记录自己的爬虫名称和偏好标记。

为什么出版商想要这个

随着人工智能培训成为科技行业和模型学习书面记录的人们之间的热点，多年来一直在推动统一信号。尤其是新闻机构抱怨说，人工智能爬虫大规模抓取了他们的报道，而广告资助的商业模式却遭到侵蚀，一些出版商已经诉诸法庭或签署许可协议以收回影响力。

临时解决方案已经激增。 Cloudflare 占据了大部分网络的份额，它推出了一项设置，可以让网站在不失去 Google 搜索可见性的情况下阻止 AI 训练爬虫，这一区别很重要，因为 AI 爬行和搜索索引历来受相同的 robots.txt 规则管辖。 IETF 人工智能偏好工作组内部的标准工作旨在使协议级别的偏好表达形式化。

主要人工智能提供商采用的共享信号将是迄今为止最重要的一步，因为它通过网站运营商已经知道如何使用的现有 robots.txt 机制发挥作用。

执行问题

该标准是自愿的，这个词很有分量。 robots.txt 首选项本身不具有法律效力；它只对同意遵守它的公司有约束力，而合规性历来取决于每个提供商自己的检测和执行。 OpenAI 声明其现有的 robots.txt 控制措施将继续受到尊重，这表明了连续性而不是新的制度，并且该公司尚未公布如何实施或审核合规性的技术细节。

公告中还存在一些悬而未决的问题。该信号是否仅涵盖训练，还是扩展到检索和接地（人工智能系统获取实时网络内容以回答问题的过程）还有待观察。这种区别对出版商很重要，因为基于检索的产品可以将流量带回源头，而培训使用则不然。搜索引擎管理的人工智能体验如何对待信号及其一般爬行规则将决定出版商将采用视为胜利还是遮羞布。