当“蒸馏”从技术概念变成舆论武器

这几天随着Kimi K3发布，又有一些人在炒作K3是“蒸馏”Fable了。其实这个懂技术的都感觉莫名其妙不值一驳，但奈何人家设置了议题，还是有大量人跟进混淆视听。那还是正经的写篇文章介绍一下吧。

先说下什么是蒸馏。

蒸馏这个词已经因这种烂事而被滥用了，导致现在没有一个统一的标准。

传统大模型学术上的蒸馏概念，指概率分布蒸馏。这种蒸馏依赖的是教师模型在每个位置输出的完整概率分布。

例如输入：“法国的首都是”。教师模型在下一个 token 位置可能输出：“巴黎”：0.92 ；“里昂”：0.03 ；“法国”：0.01 ；其他 token：0.04

这种方式让学生模型不但能了解教师模型的答案，同时还学习教师模型对各种可能答案的判断和把握程度。这样，学生模型能用更少的计算，尽量学到大模型的思考偏好和能力。

概率分布蒸馏必须要模型支持输出概率分布。现在的闭源前沿模型都不会输出这个，所以只要我们用这个蒸馏为定义而直接给出结论：“任何模型都不可能蒸馏Fable等私有模型”是完全没问题的。

但现在有些人把蒸馏的概念引申出去了。而且很多非技术群众也很难理解学术意义上的蒸馏概念，容易跟着跑偏。

引申的蒸馏概念有：

1.学生模型收集教师模型的思维链（就是DeepSeek里你能看到的它的类似内心独白的玩意）和最终回答。拿教师模型回答时的思维链和答案去训练自己的模型。这种方式得到的信息比概率分布蒸馏要少，相应的学生模型得到的提升也少。但同样的，现在的闭源前沿模型都不会输出完整的思维链。所以任何模型都不可能用这种方式“蒸馏”闭源前沿模型。

2.学生模型只收集教师模型的最终答案。只靠最终答案来提升自己。这是唯一理论上能适用于现在前沿模型的“蒸馏”方式。这种弱化了两层的方式到底有没有用？目前的研究是有争议的。有人认为它会让学生模型产生更多的幻觉，类似“鹦鹉学舌”那样不能理解问题的本质。也有一些研究认为这种方式是在某些方面会有用。

所以你看到了~甚至先不说“蒸馏”Fable这事存不存在，单从定义上就只有往外引申了两层、同时效果还不确定的“鹦鹉学舌蒸馏方式”才有理论存在的可能。

再到具体Kimi K3这事。先梳理一下时间线哈。

今年6月9日：Anthropic发布Claude Fable 5（及Mythos 5）。其前沿能力迅速引发关注。 12日因美国政府国家安全指令，导致模型对所有用户下线。

今年7月1日：Fable 5全球恢复可用。

今年7月16日：Moonshot AI发布Kimi K3。性能接近或在某些领域匹敌Fable 5和GPT-5.6 Sol，是全球最大开源权重模型。模型在Frontend Code Arena等基准上表现突出，甚至超越Fable 5。

今年7月22日左右：白宫OSTP主任Michael Kratsios在X上公开指控Moonshot通过“大规模、隐蔽的工业级蒸馏”从Anthropic Fable提取数据开发K3。

你看到了，即使真的想用第三种方式“蒸馏”，留给Kimi的时间窗口只有15天。这15天要完成“大规模、隐蔽的工业级蒸馏”、再加上数据清洗、加入到K3模型训练里，几乎是不可能的。这也是很多美国技术专家一听到这事就觉得不靠谱开启嘲讽模式的原因。而且不管蒸馏动作存不存在，都不可能是K3性能提升的主要原因。

但，这种叙事是失败的吗？并不，泼的这盆脏水反而是很成功的。

具体到舆论场里。人们的观点大概是这么几派：

蒸馏不太可能派：

主要是专业人士的技术讨论，讨论蒸馏的定义以及这么短的时间太可能完成足以提升性能的蒸馏。

蒸馏无罪派：

1.强调Anthropic本身不干净型：自己版权官司缠身，却来指责别人。

2.强调互联网的开放精神型：主要意思是Anthropic的训练数据本来就来自互联网开放数据，且大部分未经明确许可就拿去训练了，根据互联网的开放精神，应该允许其他人合理使用。

3.蒸馏对我有利型：中国模型便宜，让我用更便宜的价格用上了前沿模型，好事，请继续。

蒸馏不好派：

1.许可协议型：Anthropic的许可不允许蒸馏，所以中国模型是错的。（量很少）

2.MAGA型：管你这那的，中国是小偷！（量很少）

所以~你可以看到一个奇怪的现象：互联网上虽然支持Kimi、反对Anthropic的占了绝大多数，但很多人却潜移默化的接受或没有反驳“蒸馏”是否是事实。

以至于Redis的作者、开发者大牛antirez特意出来提醒（如图）

不得不说，这套舆论操作最成功的地方是指控方没有公开任何证据，却先把“蒸馏”变成了一个默认前提，然后大量的人开始围绕这个议题表态：蒸馏到底有没有罪？Anthropic有没有资格指责别人？中国公司该不该使用美国模型的数据？

所以说啊，不要因为对方先发明了一个议题，就顺手接受了对方的前提。可以“我不介意蒸馏”、可以“蒸馏是正常的”但不要把它和中国开源模型有没有蒸馏混在一起，更不要把它当成默认事实。

就是这样~