OpenAI、谷歌、微软和 Anthropic 将支持 robots.txt 中的 AI 训练抓取统一退出标准

OpenAI、谷歌、微软和 Anthropic 宣布将采用一项新标准，内容发布方可以借助它统一申明拒绝 AI 抓取自家网站内容用于模型训练的偏好。此前网站必须为每一家 AI 公司分别声明各自的数据使用偏好；新标准把这些声明集中到一个位置，一次设置即可对多家公司生效。

该标准由 Anthropic 技术负责人 Kevin Kelley 向互联网工程任务组（IETF）提出，并集成在网站的 robots.txt 文件中。robots.txt 长期用于告知网络爬虫哪些内容允许抓取、哪些禁止抓取，适用场景包含搜索索引、网页归档以及 AI 模型训练。落地节奏并不一致：Anthropic 已率先采纳，OpenAI 计划在未来几个月内落实，谷歌和微软预计于明年支持；Meta 发言人 Andy Stone 表示支持建立此类通用信号，但没有给出具体落地计划。

对内容行业，这条标准的价值在于把「反爬」从逐家谈判变成一份机器可读的声明，而签署方恰好覆盖了主流的训练数据来源，退出成本明显下降。但它并不自动解决执行问题——声明是否被真正遵守，仍取决于各家爬虫的实现和事后审计。发布方现在可以做的是先把偏好写进 robots.txt，再观察这四家的实际抓取行为是否收敛。