OpenAI、谷歌、微软与 Anthropic 支持统一的 AI 抓取退出令牌

OpenAI、谷歌、微软与Anthropic四家主要AI开发商表示，将采纳一项共享的“政策令牌”，让网站运营方通过robots.txt中的一条配置，一次性告知各家不得将内容用于AI训练，而不必逐家登记偏好。该提案由Anthropic标准技术负责人Kevin Kelley起草，并通过互联网工程任务组提交。

Anthropic已率先部署该信号，OpenAI称将在未来数月内实施，谷歌与微软计划于明年支持。Meta表示支持建立共同信号，但未说明是否会遵守。该安排属自愿性质，不涉及付费。

四家公司的实施进度

这项共享“政策令牌”的载体是网站根目录下的robots.txt文件。这一纯文本文件数十年来一直用于告知自动化爬虫，网站的哪些部分可以被索引、存档或以其他方式处理。按照新提案，网站运营方只需在其中写入一行配置，即可同时向多家AI开发商表达不得将内容用于AI训练的意愿。

在现有做法下，希望将内容排除在AI训练之外的发布方，必须逐一向每家开发商单独登记偏好。随着模型开发商数量增加，这种分散登记的方式负担不断加重。共享令牌的作用，就是把多份各自独立的声明合并为一行配置。

该机构负责制定支撑网络运行的诸多技术惯例。四家签署方均表示，其爬虫在遇到带有该令牌的网站时会停止抓取。

自愿标准的局限

令牌只有在爬虫主动遵守时才会生效，四家支持者是作出承诺，而不是服从可强制执行的规则。这一自愿性质预计将引发审视。

此次表态的背景是，发布方面对来自AI爬虫的自动化流量持续上升，这些爬虫抓取文章、图片及其他材料用于模型训练。部分网站已转向技术与商业层面的应对：Really Simple Licensing标准让网站可以向爬虫收取访问费用，Cloudflare则已开始为其客户默认拦截AI爬虫。

对网站运营方来说，最直接的实际效果是管理更简单：一份覆盖多家厂商的声明，可以降低在某一公司登记的偏好被另一家公司忽略的风险。对模型开发商而言，认可共同标准可能缓解与权利持有人之间的部分摩擦，但同时也让网络上大片内容更容易被整体划出可用范围。

要点

• 提案由Anthropic的Kevin Kelley起草并提交IETF
• Anthropic已部署该信号，OpenAI称未来数月实施
• 谷歌与微软计划明年支持该令牌
• 微软将提供区分AI训练与AI引用的细化设置
• Meta表示支持共同信号但未承诺遵守