知名云服务提供商Cloudflare推出一款免费工具，旨在防止AI机器人未经许可爬取其平台托管的网站数据。尽管多家AI供应商允许通过修改robots.txt文件阻止爬虫，但并非所有AI机器人遵守这一规则。Cloudflare通过分析流量并优化检测模型，增强了对不诚实AI机器人的识别能力，帮助网站所有者保护内容免遭非法数据爬取。