感觉张一鸣对模型蒸馏有误解，蒸馏的核心是获取模型所折叠的数据，而不是模型能力，用硬蒸来提升模型能力当然是可以的而且是有效的，但是如果你不蒸馏别人的模型，很多其他模型训练所用的独家数据你就没法获取了，这是真正的壁垒。 张一鸣 字节不走模型蒸馏捷径
