Cloudflare新设置拒AI训练允搜索爬取，苹果谷歌微软纷纷响应

Cloudflare推出“Disallow AI Training”新设置，网站管理员在允许搜索引擎爬取内容时，能拒绝将网站内容用于AI训练。苹果、谷歌、微软承诺遵守。启用该设置后，特定混合爬虫可抓取内容，其他AI训练爬虫会被拦截，此前选特定选项的网站大多会自动迁移。

这背后，谷歌、苹果和微软分别有推出URL层级透明度工具、开发同类工具和相关计划。该设置为网站内容保护提供新方式，巨头跟进体现行业对数据使用规范的重视，未来或催生更多相关技术和标准。