OpenAI 将遵循 robots.txt 通用信号，简化网站 AI 训练偏好表达

OpenAI 于 2026 年 10 月 30 日宣布，将遵循 robots.txt 中的一项通用信号，供网站运营者表达其内容是否可用于基础生成式 AI 模型训练的偏好。该举措为自愿参与性质，目标是让发布者不必再为每家 AI 提供商分别维护规则。

OpenAI 表示将在未来几个月内落实对这一信号的支持，并另行发布实施细节。该信号不会取代现有的爬虫控制机制，相关机制将继续适用。

新信号是什么

这一通用信号写入网站根目录下的 robots.txt 文件，网站运营者可通过它表达自身内容是否可用于基础生成式 AI 模型的训练。OpenAI 在 2026 年 10 月 30 日的公告中说明，该信号面向多家参与的 AI 提供商，一次声明即可同时传达同一偏好。

该举措属自愿参与性质，网站运营者可以选择采用，也可以维持原有做法。OpenAI 称，多家提供商采用同一信号后，发布者不必再逐一识别各家爬虫、为每家提供商分别维护规则，从而减轻日常维护负担。

OpenAI 将遵循 robots.txt 通用信号，简化网站 AI 训练偏好表达

按照 OpenAI 的描述，在通用信号出现之前，网站运营者若想表达对 AI 训练内容使用的态度，需要针对不同提供商的爬虫分别设置规则。各家爬虫名称不同，规则也需各自维护，网站运营者因此承担了重复性的识别与配置工作。

OpenAI 将这一现状视为推动通用信号的原因之一：当多家提供商认可同一表达方式时，网站一侧的规则可以更集中，偏好表达也更清晰。公告没有披露此前有多少网站采用逐家配置的方式，也未给出相关数量。

OpenAI 将遵循 robots.txt 通用信号，简化网站 AI 训练偏好表达

OpenAI 明确表示，新信号不会取代其已通过 robots.txt 提供的控制措施。现有的爬虫控制机制让网络内容发布者能够灵活掌控自己的网页，这些机制将继续适用，公司也将继续遵循。

这意味着通用信号是在既有控制方式之外新增的一层表达渠道，而非替代方案。OpenAI 未在公告中说明新信号与现有机制在优先级或技术细节上如何衔接，仅表示实施细节将在后续更新中介绍。

OpenAI 将遵循 robots.txt 通用信号，简化网站 AI 训练偏好表达

这一举措借鉴了互联网工程任务组（IETF）AI 偏好工作组正在开展的工作。OpenAI 表示，当天与工作组的其他参与者共同宣布支持这一通用信号，并认为这将深化其对 IETF 标准讨论的持续参与。

OpenAI 还称，随着相关讨论推进和整体环境变化，公司将继续调整自身做法，在合理的控制措施与公平性之间取得平衡。公告将此举描述为迈向开放网络的务实一步：人们可以在网上发布和发现信息，网站所有者也能以更清晰、更简单的方式表达对自身内容使用方式的选择。

OpenAI 在公告中鼓励其他 AI 提供商遵循这一信号，但未列出已表态参与的具体提供商名单。

OpenAI 计划在未来几个月内落实对这一信号的支持，并届时发布更新，介绍具体实施细节。公告未给出更精确的时间表，也未说明支持将以何种技术形式落地。

在实施之前，网站运营者仍按现有方式表达偏好。OpenAI 表示，现有爬虫控制机制在此期间继续适用，公司也将继续遵循这些机制。