众力资讯网

9月19日,华盛顿大学 NLP 博士施惟佳(Weijia Shi)在社交平台上官

9月19日,华盛顿大学 NLP 博士施惟佳(Weijia Shi)在社交平台上官宣入职 AI 顶级巨头 Anthropic,岗位直接锁定最核心的“预训练”(Pretraining)。

这个动态在学术界和 AI 圈炸开了锅。

为什么?因为在过去整整五年里,施惟佳做研究的硬核路线,几乎全是在跟传统大模型的“大力出奇迹”唱反调。

看看她刷爆同行眼球的成绩单:个人论文引用量高达 11775 次,h 指数 29;她参与打造的 Instructor 嵌入模型下载量突破 1000 万次;开源项目 s1 在 GitHub 斩获 6500 颗星;不仅斩获 ACL 2024 杰出论文奖,那篇获奖论文的题目还特别有态度——《别产生幻觉,选择放弃》(Don't Hallucinate, Abstain)。

简单来说,当全世界的通用大模型都在努力“不懂装懂、一本正经地胡说八道”时,她却在用极其严谨的算法教大模型学会“优雅地闭嘴”。

在大模型发展的上半场,主流玩法是暴力的数据吞噬:不管是版权图书、个人隐私还是互联网垃圾,先打包喂给模型再说。结果造出来的黑盒越来越大,后遗症也接踵而至——侵权删不掉、隐私泄露撤不回、模型幻觉防不胜防。要想让训练好的大模型“忘掉”某段侵权数据,成本几乎等同于把整个模型砸了重练。

而施惟佳的整个博士生涯,都在跟这种“单体巨无霸”较劲。

她在 Meta 做了 2.5 年访问研究员,先后搞出了 REPLUG、SILO 等重磅成果。她的核心研究陈述非常干净利落:“我不相信一个模型能安全地吞下所有数据。”

在她看来,未来真正理性的语言模型,绝不该是一个混乱臃肿的巨型黑盒,而应该由一批能够独立训练、随时拆卸、灵活拼装的“标准化零部件”构成。这就好比现在的电脑,你想升级显卡就换显卡,想加内存就插内存,而不是为了升级个内存条把整台电脑熔成铁水。

但最耐人寻味的地方来了:一个立志要拆掉大模型黑盒、反对“单体大吞噬”的人,最终却选择加入最吃规模和算力的预训练团队。

这背后的洞见其实非常深刻:在门外推了五年门的人,终于意识到要想彻底改变发动机的轰鸣声,最快的方法不是在车厢里发论文喊话,而是直接走进底层的发动机舱,接管油门与火花塞。

Anthropic 一向以 AI 安全和可解释性闻名,但预训练阶段的数据污染和不可控性一直是大模型行业的隐痛。如果施惟佳把她的“模块化拆解”、“精准遗忘”与“测试时扩展”机制注入到最底层的预训练代码里,这或许意味着,下一代 Claude 有可能第一次拥有“吃得进去、也洗得干净”的健康代谢系统。

AI 的下半场,不再属于那个把所有数据一股脑扔进炼丹炉的粗暴时代,而属于能给炼丹炉装上排毒管道和精密齿轮的人。