中国的模型公司,到底是谁在搞科研?谁又是在搞“蒸馏小偷”?
谷歌DeepMind的研究员姚顺宇,最近一段采访直接把行业底裤扒了。他说,很多公司嘴上喊着自研,其实背地里都在搞“硬蒸馏”。什么叫硬蒸馏?很简单,就是直接从Claude或GPT里把答案偷出来,喂给自己的模型死记硬背。说白了这不叫学习,这叫抄袭。不仅商业上不道德,智力上也极其愚蠢,因为你永远只会抄,完全不知道自己在干嘛。
但他在这段采访里特意点名了字节跳动,说字节的模型比较有特点,蒸馏别人比较少。同行都在走捷径的时候,能沉下心来做“软蒸馏”、做真创新的,反而显得特别稀有。所以别只看榜单分数,很多时候那是“抄”出来的幻觉。真正的本事,还得看模型骨子里有没有自己的想法。


