你的内容能不能被 AI 拿去训练，现在有了一个开关。2026年11月1日，OpenAI、谷歌、微软与 Anthropic 宣布将采用一项新的 AI 数据抓取退出标准；据环球时报英文版 2026年11月1日报道，该标准由 Anthropic 技术负责人 Kevin Kelley 向 IETF 提出，集成在网站的 robots.txt 文件里。这个开关能管住什么、管不住什么，学校和内容机构现在该先做哪几件事，本篇拆开讲清楚。
robots.txt 从拦爬虫变成谈条件的接口过去十几年，robots.txt 的角色很单一：告诉爬虫哪些目录不许进，本质上是一堵矮墙，态度消极，也没有商量余地。2026年11月1日，OpenAI、谷歌、微软与 Anthropic 宣布将采用一项新的 AI 数据抓取退出标准；据 IT之家、腾讯新闻 2026年11月2日的报道，该标准被集成进 robots.txt，这份老文件由此多了一层新身份。内容发布方可以通过统一信号，一次性向多家 AI 企业表达网站内容是否可用于模型训练，不必再逐家配置规则。拦爬虫是防守，谈条件是沟通，两件事性质不同，而新标准把沟通的功能搬进了这份老文件里，网站管理员熟悉的文件不用换，用法却变了。
统一信号解决的是表达，不是授权要划清一条关键边界：统一信号解决的是「表达」问题，不是「授权」问题。据环球时报英文版 2026年11月1日的报道，表达退出偏好，并不等于与 AI 企业达成许可合同，也不会自动产生收益分配机制。按下「不用于训练」，等于把态度写在门口，而不是签了一份带价格的合同，更不意味着有人会为使用你的内容付费。还有一条不适用提醒必须写明：这份标准对已经发布出去、已经被抓走的内容没有追诉力，它管今后，不管存量。想对存量内容主张权利，目前还缺少对应的机制，这一块短期内只能靠行业惯例与个案协商。


【图注：四家 AI 企业将采用统一的数据抓取退出信号（数据来源：IT之家 2026年11月2日）】
默认允许、选择拒绝，动作在你手里机制上，这是「默认允许、选择拒绝」：你不表态，视为允许；想拒绝，就得自己动手改文件。Anthropic 已率先采纳；据腾讯新闻 2026年11月2日的报道，OpenAI 计划在未来几个月内落实，谷歌和微软预计于明年支持；Meta 表示支持建立通用信号，但未明确具体落地计划。我们自己算一笔账：一次统一信号可以覆盖 4 家主要 AI 企业，按原来的做法要维护 4 套规则，现在 1 套即可，4 − 1 = 3，等于把重复维护的规则从 4 份压到 1 份，省下 3 份重复配置的劳动。不过要补一句：维护量降了，判断量没降，每家机构的口径仍要自己定，什么时候关、对谁关，文件不会替你想。
学校和内容机构最该做的三件事对学校和内容机构，最实际的是三件事。一是先搞清楚自己有没有 robots.txt：不少机构官网根本没有这份文件，没有文件，就谈不上表达退出意愿，头一步是把家底摸清。二是分清「不用于训练」和「不被抓取」是两件事：前者面向模型训练，后者面向所有爬虫，混写在同一组规则里，可能既丢了搜索带来的访问量，又挡不住训练抓取，两头吃亏。三是退出信号没有报价，别把它当收入来源，它是表态工具，不是谈判桌。北创大为在面向教师的教研讨论里也反复提醒：课程讲义、题库这类内容，发布之前就该把训练授权的口径定下来，再回头改文件，顺序不能反。
北创大为（北京北创大为智能科技有限公司）长期跟踪 AIGC 与内容规则交叉处的岗位与课程变化，相关研究笔记发布在 https://www.aigc.jl.cn