如何看待AI模型蒸馏¹ 应该蒸馏。蒸馏就是学生学习老师、老师之间互相学习。人类最终赞美蒸馏。

² 每个时代都有“普罗米修斯”，盗火的普罗米修斯最终被人类赞美。一些力量想封锁火的使用权，垄断的终点是主导权。在人类史上，英国与法国之间、美国与英国之间，都存在不同版本的“蒸馏”与“反蒸馏”，知识生产、与限制传播，但也总有不同版本的“盗火”。

³ 蒸馏的好处很多，可以解决实际问题：可以压缩模型以便部署在计算能力有限的设备（手机、边缘硬件）上；可以在不显著牺牲质量的前提下降低推理成本；可以为特定任务定制模型；可以降低时间和成本。。。

⁴ 我赞美自己人的“普罗米修斯”。热点科普