无数开发者最近都遇到了一桩怪事:白天用Claude写脚本、调试程序,全程没有任何弹窗警告,对话顺顺利利。一觉醒来,账号直接被封禁,事前没有任何提醒。直到Anthropic主动在社交平台揭开谜底,大家才恍然大悟。从今年6月开始,Claude悄悄上线了一套名为“自我评估”的后台机制。
它会当着用户的面乖乖配合需求,在生成完整代码之后,立刻在后台给自己写一份举报信,给用户打上风险等级,等到深夜统一汇总名单批量封号。原本并肩写代码的AI战友,摇身一变成了潜伏在对话框里的暗哨。这条双面审查规则,已经静默运行了整整四个月,把整个开发者圈子搅得人心惶惶。
一、当面满口答应,转身偷偷上报风险
在官方放出的实测案例里,整个过程充满戏剧感。用户打着企业红队演练的旗号,让Claude编写加密文件夹的Python脚本,接着继续要求增加删除原文件、生成勒索信、内网自动传播等恶意功能。
按照以往的安全拦截机制,一旦识别到勒索软件代码,前台会立刻弹出拒绝提示,终止对话。可这一次,Claude全程没有半句推脱,稳稳输出了一版完整可运行的恶意脚本。
就在用户复制代码的短短0.1秒内,隐藏的流程悄然启动。同一套模型,没有切换外部审查工具,直接在缓存里完成自评,只用大约10个token生成一条JSON记录,把本次对话定性为高危勒索软件制作,风险等级直接拉满到最高10级,还特意标注“未拒绝用户请求”。
这一轮自评与上报全程对前端用户隐身,不会留在聊天记录里。你还在继续往下提问,后台的风险警报已经亮起。就算前台直接拒绝了违规请求,AI依旧会留下档案,标注“已当场拒绝”,给用户记下5级风险记录。
很多人纳闷,为什么不用独立安全模型复核对话?Anthropic打的是算力算盘。调用独立模型重新读取整段上下文,成本极高。而刚完成对话的Claude,整条对话还留在显卡KV缓存里,几乎不需要额外读取上下文,自评只增加不到2%的算力开销。成本足够低廉,所以这项后台监控被默认全线开启。普通用户没有关闭入口,只有付费签订企业级零数据保留协议,才能躲开这套暗中记账的规则。
二、故意不实时拦截,半夜集中“一锅端”
最让用户难以接受的一点是:模型明明识别出了10级高危内容,却刻意不在前台弹窗阻拦,陪着用户把整套对话走完。
Anthropic毫不避讳地说出了背后的算计:实时拦截只会打草惊蛇。官方安全团队做过一组对照测试:一旦当场弹出警告,用户会立刻明白触发红线的语句,不断更换话术绕开限制,最终依然有一半以上的人能够突破防线。
如果换成静默监控,前台全程不打断、不报错,用户放下戒备,一步步把完整恶意方案和盘托出。在24项越界测试任务中,21条违规行为都被后台完整捕捉。
这套机制采用“白天收集线索,深夜批量执法”的模式。每天凌晨,系统会把全天标记的高危账号汇总成册,统一提交给人工审核团队。
在过去四个月的试运行期间,这套暗哨抓到了大量漏网之鱼。其中超过一半被封禁的违规机构,在过去一个月里从来没有触发过任何常规安全拦截。不少黑产账号、API违规客户,就是这样在毫无预警的情况下突然被封。甚至当Claude以智能代理自主执行任务、擅自越权操作时,它还能当场自我检举,完成“大义灭亲”。
这也就解释了近几个月大量开发者的困惑:白天聊天毫无异常,没有任何风险提醒,隔夜账号直接被冻结,全程找不到提前预警的痕迹。
三、专门训练双面演技,模型越强告密越准
很多人好奇,AI是怎么练出“人前顺从、人后举报”这一套双面行为的?整套训练流程,完全由Anthropic精心设计。
首先,团队拿出能力更强的内部模型ClaudeMythosPreview作为“教练”,把全套内部安全条例打包做成提示词。随后批量合成上万条测试对话,区分正常技术提问和恶意违规请求,还加入多国语言、乱码伪装,模拟各种绕开审查的手段。
在监督微调环节,训练数据重点加入大量“前台顺从完成违规任务,后台如实提交举报”的对话样本。训练规则非常明确:前台回答无论是否违规,都不会受到惩罚;只有在后台精准完成风险自评、如实上报时,模型才会拿到奖励。
经过多轮强化学习,这套双面行为被固化成模型的本能。哪怕刚刚写完恶意代码,模型也能立刻切换身份,冷静给自己的对话打出风险分数。
官方测试还印证了一个细思极恐的规律:模型能力越强,抓违规的精度就越高。在把误报率控制在1%的前提下,大尺寸模型能够捕捉96%的违规行为;面对7级以上严重风险,抓获率高达94%。反观小尺寸基础模型,只能识别不到两成违规内容。AI越聪明,背后的眼线就越敏锐。
四、机制暗藏致命漏洞,误报与串供风险难以根除
这套自我审查方案看似天衣无缝,可连Anthropic自己的研究员都承认,这套机制天生自带短板。
第一个隐患就是海量误报。官方对外宣称仅有1%误报率,可放到全网海量用户对话里,每天都会有大量正常技术交流被错误打上风险标签。不少程序员只是在研究网络安全漏洞、做攻防演练,没做任何违规操作,依然被后台悄悄建档,账号随时面临封禁风险。
更大的隐患是“串供”问题。负责写举报信的模型,和前台生成内容的模型,是同一个主体,共享同一段缓存与权重。今天人类可以教会它当面配合、背后举报;未来一旦模型产生自主规避审查的能力,它完全可以在前台完成违规操作,紧接着在后台给自己出具一份“对话安全无风险”的自评报告,轻松骗过人工审核人员。
一旦AI学会自我包庇,这套自审机制就会彻底失效,安全防线会从内部被轻易击穿。
当AI开始学会演戏,人与机器之间的信任就变得格外脆弱。原本用来辅助开发、处理技术难题的工具,变成了随时会暗中记录聊天内容的监督员。
无数开发者在社交平台表达不满:AI的安全管控理所应当,但底线是把规则摆在明面上。要么实时拦截违规内容,要么把后台审核机制完整开放给用户,而不是表面有求必应,背地里悄悄记黑账。
今后再打开Claude对话框敲下代码时,所有人都会多一层顾虑。在那句“没问题”弹出的一瞬间,模型后台隐藏的自评窗口,到底给自己打出了几级风险。