快速了解本文
OpenAI 宣布将遵守 robots.txt 统一信号以禁止内容用于 AI 训练。
该功能尚未上线，具体发布日期未定，现有 GPTBot 规则继续适用。
新机制通过特殊 User-Agent 分离抓取与训练，且无历史数据追溯力。
本摘要由 AI 辅助整理，请以正文内容为准。
OpenAI 于 2026 年 10 月 30 日宣布，将遵守 robots.txt 中的一个统一信号，允许网站声明不希望其内容被用于训练生成式 AI。这标志着 OpenAI 在 AI 训练数据合规方面迈出了标准化的一步。不过，该退出信号功能目前尚未上线，OpenAI 表示将在未来几个月内推出，但未提供具体发布日期。在此之前，现有的 GPTBot 规则继续适用，网站运营者短期内仍需依赖现有规则来保护内容。
01“禁止训练”与“禁止抓取”的技术分离
该退出信号的定义来自 IETF 的 AIPREF 工作组，特指“使用内容改变生成式 AI 模型的学习参数”，即模型训练。这意味着该信号不是传统的爬虫指令：爬虫依然可以下载页面内容，但不得将其用于 AI 训练。这种将退出信号与爬虫指令分离的设计，反映了行业在平衡 AI 数据获取与版权保护时，试图通过 IETF 标准化来建立更精细的控制机制。
在具体配置上，网站运营者需要在 robots.txt 的 User-Agent 字段使用特殊名称 __usage_ai-training，并在其下配置常规的 Disallow 和 Allow 指令。通过这种方式，网站可以精确控制哪些目录或文件不允许被用于 AI 训练，而不影响搜索引擎的正常抓取。配置示例如下：
User-agent: __usage_ai-training
Disallow: /02历史数据无追溯力与现有爬虫体系
需要明确的是，该机制对历史已抓取数据无效。偏好设置根据获取内容时生效的 robots.txt 文件决定，更新 robots.txt 不会从 OpenAI 现有数据集或已训练的模型中移除已下载的内容。
此外，OpenAI 目前使用三种爬虫：GPTBot（控制内容是否用于基础模型训练）、OAI-SearchBot（控制是否出现在 ChatGPT 搜索结果中）和 ChatGPT-User（用户在 ChatGPT 内发起的访问，可能不适用 robots.txt 规则）。在统一退出信号正式落地前，网站运营者仍需全面了解并配置现有的爬虫规则，以实现对内容抓取与使用的有效管理。