一、先说结论，省你三分钟10 月 30 日，OpenAI、谷歌、微软、Anthropic 四家同一天表态：以后在网站的 robots.txt 里写一句统一的暗号，我们四家都认。
**有这回事，是真的。**
**但网传的“写一行就完事”，是错的。** 照抄的话，会出现最尴尬的局面——你以为你拒绝了，对方觉得你压根没表态，两边都没说谎，就是没对上。
二、这事到底解决了什么烦人问题
每个网站根目录下都有个小文件，叫 robots.txt。它就是挂在门口的一张告示牌：“哪种机器人能进，哪些地方别进。”
过去你想拦 AI 拿你的内容练模型，只能挨个点名：OpenAI 的爬虫一条，谷歌的一条，Anthropic 的一条……新出一家，再补一条。**改一次文件，骂一次人。**
现在四家说：你写一句统一暗号，我们都读得懂。
这串暗号长得有点怪，是两个下划线开头、中间带横杠的一长串英文。**但请记住一个关键点：它是“对谁说”那一栏里的名字，不是一个开关按钮。** 它得像正常规则一样，配上“不许进哪个目录”才算完整表达。
换句话说：**不是一行，是“报上名号”加“说清态度”两件事，缺一件都作废。**
三、三个坑，一个比一个贵，坑一：写“所有人”不算数
图省事的写法是“所有机器人一律不许进”。听起来最狠，实际上四家明确说了：**这种写法不表达任何训练偏好。**
也就是说，你写得越狠，效果越是零。
你必须把那串暗号的名字原原本本写出来，机器才认。这个坑特别隐蔽，因为文件看起来完全正常，测试也不报错，只是**什么都没发生**。
坑二：它只管“训练”，不管“抓取”
这点极容易误会。
你表了态，**不代表对方不来了**。它照样可以进来抓页面，只是抓了不能拿去训练。
反过来更重要：**你原来拦爬虫的那些规则千万别删。** 一删，人家就又能大摇大摆进来抓，你等于把门锁拆了只留一张纸条。
坑三：谷歌那边，可能顺手把“被引用”也丢了
谷歌的处理方式是：你只写这句暗号、不单独对它的专用标识表态，它就默认你“全面拒绝”。
问题在于，谷歌的这个开关**不止管训练，还管“AI 回答里引不引用你”**。
结果就是：你本来只想说“别拿我的东西练模型”，可能连“在谷歌 AI 回答里被提到、被引用、被送流量”的机会一起关掉了。
**这是全网最容易踩、也最贵的一脚。** 目前谷歌没给你拆开的机会，两个用途绑在一个开关上，你只能二选一：
- 保住引用 → 代价是谷歌仍可能拿你训练；
- 彻底拒绝训练 → 代价是放弃被引用。
对靠搜索流量吃饭的站来说，这笔账基本不用算：**保引用**。想清楚再动手，别手一抖把流量也关了。
顺带说个更凉的现实
**以前的账，清不掉。**
你今天表态，只管以后。已经被吃进模型里的内容，四家都没承诺回头清理。“把过去要回来”这条路，目前不存在。
四、什么时候真的生效
四家节奏不一样，别以为写完明天就灵：
- **Anthropic**：已经开始做了（这份草案就是它家工程师写的）
- **OpenAI**：说“未来几个月”
- **谷歌**：2027 年初
- **微软**：2027 年 2 月 1 日，时间点最硬
没参与这轮的：Meta、苹果、Perplexity。对这三家，这行字暂时无效。
五、那现在还写不写？
**写。**
因为现在写进去，最坏结果是“暂时没反应”，不会把网站弄坏。等人家的系统一上线，你早就写好在那儿了，自动生效。
**正确姿势是“新旧都留，两条腿走路”**：新增统一暗号的表态，同时保留原来点名各家的旧规则。过渡期里，旧规则才是真正起作用的那一半，等 2027 年各家全上线了再考虑精简。
改的时候守住三条底线，就不会出事：
1. **只加不删**——原有规则一个字不动；
2. **先备份**——改之前存一份旧文件，出问题能一秒回滚；
3. **别碰搜索那条**——`所有机器人` 那一段是给搜索引擎看的，动它才是真正的灾难。
六、改完必须做的四件小事
1. 浏览器直接打开你自己域名的 robots.txt，确认是新的、能正常打开（注意 CDN 缓存，可能得等等）。
2. 用 Google Search Console 和必应的 robots 测试工具各跑一遍，重点看**正常搜索爬虫是否仍然是“允许”**。这一步别省，手滑一次能让你掉半年收录。
3. 子域名各放一份。`www`、裸域、手机站，互不通用，别只改一个。
4. 记住 robots.txt 是**公开文件**，谁都能看。别在里面写后台地址、测试环境这类东西。
七、几句实话，听完再决定要不要吹
- 这是一份**倡议书**，不是国家标准。提草案的是 Anthropic 的一位工程师，交到国际组织那边，对方明说了“不背书”；2027 年 5 月还要续期，不续就废。
- 你跟某家公司**签过授权合同**，合同大过你这张告示牌。
- 最根本的：这东西**靠自觉**。本来就不守规矩的爬虫，你写一百行它照爬。真要拦死，得在服务器层面动手，或者走法律。
所以别把它当防盗门，它更像门口那块“谢绝推销”。守规矩的人看，不守规矩的人踩。
但有，总比没有强。毕竟以前，你连块牌子都没有。
八、记住三件事就够了
**暗号要指名道姓；“所有人”不算数；它只管训练不管抓取。**
再加一句给要转发的人：**谷歌那个开关，管训练也管引用，想保流量就别一刀切。**
其余的，等 2027 年各家真上线，再看效果。




*转给还在手动一家一家写规则的站长朋友，能帮他省半小时，也能帮他少丢半年流量。*