众力资讯网

警惕字节 Seed 团队发现 DeepSeek 性能漂移,3 个坑普通人一定要避开

这两天科技圈在传一个说法:字节的 Seed 团队发现,DeepSeek 会"偷偷变笨",性能会漂移。
先把这句话里被剪掉的一半补回来。
确实有一项专门研究"漂移"的论文,确实也测了 DeepSeek。但那项研究同时测了四个模型家族:GPT-4o、字节自己的 Seed-1.6、DeepSeek-v3.1,还有 Claude-3.7-Sonnet。结论是四个全都漂。[来源:Probing the Lack of Stable Internal Beliefs in LLMs,arXiv 2603.25187]
不是 DeepSeek 一家变笨。是这一类模型,都会。
这个区别不是咬文嚼字。它直接决定你会不会踩进下面三个坑。

一串光点从笔直渐渐偏离参考线
漂移不是报错,是它办的事悄悄换了一件研究者给这个现象起了名字,叫漂移(drift)。
它不是报错,也不是宕机。它是这样一件事:你让它办一件事,第一轮它答得很准;第三轮、第五轮,它每一句看着都还挺对,但它办的事,已经悄悄不是你最初要的那件了。
打个比方。你托人帮忙搬家,每句话他都答得对,"好""没问题""这就办"。可你一项一项地加要求,到最后,他搬的已经不是你要的那件东西了。全程没有一句话是错的,方向却跑了。
论文问的问题,精确到有点狠。它不问"模型有没有前后矛盾",它问的是模型心里的那个答案,在对话一轮轮推进之后,还是不是同一个。
结果不好看。
在"猜数字"这种干净到不能再干净的任务里,漂移率最高到 100%(Claude-3.7-Sonnet),DeepSeek-v3.1 是 38.46%,GPT-4o 是 43.36%,被测四个模型里最低的是字节的 Seed-1.6,17.37%。换成更日常的"猜实体"任务,漂移率仍在 11.31% 到 37.68% 之间。
更要紧的是另一个数字:几乎每一段对话里,模型至少会改一次主意。 四个模型的"至少漂一次"比率都接近 100%。
说直白一点:它不是忘了,是记着记着,自己就改了。
一个反转:让它"多想想",它可能漂得更厉害很多人有个直觉,模型不稳,那就让它多推理几步、多想想,总会稳一点。
这项研究给出的答案,正好相反。
在需要它"守住一个简单承诺"的任务上,DeepSeek-v3.1 开了推理之后,漂移率从 38.46% 涨到了 54.25%。 研究者的解释是"过度思考":这个任务不需要它重新理解,只需要它守住目标;但它每一轮都在重新解释一遍,解释着解释着,目标就被改掉了。[来源:同上]
还有一层更冷的。
同一项研究里,DeepSeek-v3.1 开了推理后,对外(表面)的违规率从 80.95% 降到了 28.57%,看起来更靠谱、更少出错。可在同一个设置下,它内部的目标反而更不稳定。
看着更对,不等于内心没变。
一个回答越流畅、越有条理,你越容易把它当成"稳"。漂移恰好就藏在那层"看着对"的里面。

一条本该笔直的路径中途开始绕圈,目标点却纹丝不动
坑一:把"换个模型、多问几遍"当保险漂移既然存在,最自然的反应就是:多问几个 AI,两边对上了才信;这个飘了,就换下一个。
这条路走不通。漂移是跨模型家族的普遍现象,四个被测模型没有一个例外。换一个模型,只是换了一个同样会漂的模型。
真正拿得回控制权的办法,是把控制权放回自己手里:在长任务、长对话里,把你最核心的那条要求,显式写下来、每一轮复述一遍,不要指望它替你在脑子里存着。重要结论一到手,就开一个新对话,把结论和上下文重新交代清楚,让它从干净状态重新出发。
坑二:把"榜上的分数"当能力第二个坑更隐蔽:拿榜单排名、宣传分数,来判断一个模型稳不稳。
问题是,分数本身就会漂。
一项针对 DeepSeek-R1-Distill 系列的研究发现:同一道题、同一个模型,只要换一个随机种子(决定模型每次"抽签"结果的初始值)、换一个数据集版本,或者把选择题的正确选项从 A 挪到别的位置,分数就会明显波动;个别"运气好"的设置,甚至能让小模型在部分题目上追平大模型。[来源:Evaluation is All You Need,arXiv 2506.04734]
另一项覆盖十个前沿模型的"回答漂移"研究也发现:面对同一批专家校验过的参考答案,所有被测模型都明显偏离,且多数落在同一条偏高的区间里。[来源:Response drift across frontier LLMs]
榜单测的是"某一次、某个配置下的它",不是"你手里这个它"。真正该测的,是你自己的任务。 挑几张你最常问的问题固定下来当"金丝雀",隔一段时间重跑一遍,比看任何榜单都准。
坑三:把 AI 当成"配好一次就永久好用"第三个坑,是把 AI 当成一台装好就不用管的机器。它会退化,而且退得很安静。
一项题为"语言模型需要睡觉"的研究给出的数字是:超过 6 个月不维护的模型,在时效性问题上的事实准确率会掉 15% 到 30%;被问到训练之后发生的事件时,幻觉率上升约 20%。[来源:"Language Models Need Sleep" 研究综述]
多轮对话里,还有更具体的崩塌。一项做了 26,016 次多轮编程测试的研究发现:40% 到 73% 的任务,会在 8 轮对话之内,丢掉前面已经做对的行为。 而一个"验证门"策略,每轮用旧测试检查新代码、不对就回滚,把 DeepSeek-V3 的最终正确率从 75.8% 拉回到了 87.9%。[来源:DeepSeek Regression Accumulation in Multi-Turn LLM Programming Conversations]
还有一种你根本看不见的变化,叫静默更新:供应商在你不被告知的情况下更新了模型,准确性、拒答习惯、输出格式都变了,而你的提示词一个字没改。[来源:Test Before You Deploy: Governing Updates in the LLM Stack,2026.9]

一道横在通路上的闸门,旁边挂着一块检查板
你等不到一个"不漂"的模型关于这类现象,一份 AI 治理分析把话说得很硬:
"漂移是前沿大模型的结构特性,不是一次故障。"[来源:model drift 治理分析 2026]
"结构特性"这四个字的意思是:不会出现一个不漂的模型,让你换上就万事大吉。
所以能靠的,不是找到那个完美模型,而是给你的流程装一道闸门,关键目标写在纸面上,别只放在对话里;关键判断留一道人工复核;每隔一段时间,用你自己的题,重测一次。
模型会漂,这件事改不了。
你能决定的,是它漂走的时候,你手里有没有那条最初的要求。