AI 摘要
快速了解本文
01
OpenAI 宣布支持 robots.txt 共享信号以简化网站数据授权流程。
02
该机制基于 IETF 草案，允许向多家 AI 提供商统一表达训练偏好。
03
现有爬虫控制规则将继续适用，新信号计划在未来几个月内实施。
本摘要由 AI 辅助整理，请以正文内容为准。
数智朋克讯 2026年10月30日，OpenAI 宣布将支持 robots.txt 文件中的共享信号。此举旨在帮助网站运营者通过单一规则，向多个参与该计划的 AI 提供商统一传达其基础生成式 AI 训练偏好，大幅简化了网站表达数据授权意愿的流程。
01解决爬虫权限管理痛点
长期以来，网站运营者面临着繁琐的爬虫权限管理痛点。为了控制 AI 训练数据的使用，运营者需要识别单个爬虫，并为每个 AI 提供商在 robots.txt 中维护单独的规则。引入跨提供商的共享信号机制，正是为了解决这种重复性维护工作。基于互联网工程任务组（IETF）草案的统一信号，将网站从“为每家 AI 公司定制爬虫规则”的困境中解放出来，显著降低了内容合规与授权管理成本，推动 AI 数据获取向标准化协议演进。
02实施计划与现有规则兼容性
OpenAI 计划在未来几个月内正式实施该共享信号，并将在具体落地时公布相关细节。同时，OpenAI 强调，新的共享信号不会取代其现有的爬虫控制措施。网站现有的 robots.txt 规则将继续适用并受到尊重，这消除了运营者对现有控制措施失效的担忧。
03行业标准化共识
该共享信号基于 IETF AI 偏好（AI Preferences）工作组的草案工作，OpenAI 联合该工作组的其他参与者共同宣布了此项支持，标志着该机制建立在行业标准化组织的共识之上。有关该信号的具体配置与使用方式，可通过 OpenAI 官方公告 了解。