快速了解本文
Google、微软与 OpenAI 计划采用统一 robots.txt 标记允许网站退出 AI 训练。
新机制使用特定策略 token 表达偏好，不影响常规爬虫抓取活动。
Anthropic 已率先支持该草案，Google 和微软将于 2027 年初实施。
本摘要由 AI 辅助整理，请以正文内容为准。
Google、Microsoft 和 OpenAI 计划采用统一的 robots.txt 标记，允许网站所有者选择退出 AI 模型训练。该机制源于 Anthropic 员工向 IETF（互联网工程任务组）AI Preferences 工作组提交的 Internet Draft，旨在为网站提供标准化的数据使用授权方式，改变以往各家公司规则不一的局面。
01技术规范与使用边界
新机制使用 User-Agent: __usage_ai-training 作为策略 token。网站所有者只需在 robots.txt 文件的 User-Agent 行下指定该 token，即可表达退出 AI 训练的偏好。需要明确的是，该 token 仅作为偏好信号，并不控制爬虫的常规抓取（crawling）活动，且通配符 User-Agent: * 无法匹配该 token。如果文件中没有 __usage_ai-training 组，爬虫仍会抓取内容，只是不将其用于训练。
草案将 AI 训练严格定义为利用内容修改生成式 AI 模型的学习参数。纯非生成式功能（如内容分类或搜索排名）豁免于此定义。Microsoft 明确指出，限制 AI 训练或 AI 搜索引用（Grounding）会降低品牌在 AI 生成回复中的可见度，但不会影响其在 Bing 传统搜索结果中的排名。
这种统一的退出机制大幅降低了网站所有者管理 AI 数据使用的成本，无需再针对每家 AI 公司配置不同的爬虫规则，有望实现“一次配置，多端生效”。不过，其全面普及的前提是 Meta 等其他主要数据消耗方最终也宣布遵守该标准。
02各厂实施时间表与策略差异
尽管巨头在“AI 训练”退出机制上达成一致，但在“AI 搜索引用”的控制上仍保留各自策略，数据使用权限的细分管理依然是行业博弈的焦点。各家的具体落地时间表如下：
功能亮点
Anthropic：
作为草案提交方，已于 2026 年 10 月 30 日确认开始支持该草案，率先实现技术落地。
Google：
计划于 2027 年初实施该控制。届时，网站使用共享行退出训练将被解释为禁止 Google-Extended，从而控制内容是否用于训练未来的 Gemini 模型及在相关应用中的 grounding。
Microsoft：
将于 2027 年 2 月 1 日开始支持新选项，并在 2027 年 3 月 1 日后停止识别 NoArchive 和 NoCache 等旧标签。同时，Microsoft 引入了仅限页面级别的独立 AI Grounding 偏好。
OpenAI：
表示计划在未来几个月内实施该信号，但未给出具体日历日期。
03行业反应与标准化进程
Meta 通讯主管 Andy Stone 表示支持创建统一信号，但尚未宣布 Meta 是否会遵守这些新标准。此外，尽管多家科技巨头已宣布跟进，该草案目前仍为个人 Internet-Draft，尚未成为正式的 IETF 标准，其标准化流程仍在进行中。