标签「robots.txt」

OpenAI 宣布支持基于 IETF 草案的 robots.txt 共享信号，网站运营者可通过单一规则向多家 AI 提供商统一传达训练偏好，显著降低爬虫规则的重复维护成本。该计划将于未来几个月内实施。