众力资讯网

上个月字节Seed团队全员大会上,张一鸣罕见开口:字节不会把蒸馏当作提升模型能力

上个月字节Seed团队全员大会上,张一鸣罕见开口:字节不会把蒸馏当作提升模型能力的捷径,哪怕这意味着眼下要落后于国内竞争对手。

先解释下,蒸馏简单说就是让新模型直接学习现有前沿模型的推理步骤,省时省算力,见效快,行业里用的人不少,包括很多现在很多辅助驾驶Pro版的软件车型,都是通过蒸馏原有大模型后再下放的。

字节不走这条近路,等于放着电梯不坐,硬爬楼梯。不过你说有没有好处,那经验值肯定高水平地叠上去的,以后爬楼梯会不会没有那么累,还不知道,但现在就是慢了些。

而且据说张一鸣平时几乎不在Seed的会上发言,内部为这事吵了很久,每次国内有强的开源模型发布,争论就升温一次。能让一个早就不管细节的创始人出来表态,说明这条近路的诱惑,已经大到让不少人坐不住了。

愿意为更长期的目标,牺牲一些短期收益。在今天人人抢速度的AI圈,这话多少有点反潮流。这个选择对不对,现在下结论太早。但有一点是确定的:当所有人都抄近路的时候,那个绕远路的人,要么掉队,要么甩开所有人。大v聊车