众力资讯网

百度 AI 旧事,信息量比想象中大

最近听完《晚点聊》里周楠聊 Cerebras 这一期,最有意思的不是百度当年投了什么,而是很多细节重新拼起来,会发现百度很早就已经进入了 AI 的深水区。

周楠回忆,百度美研当时“应该说是硅谷最强大的一个 AI research lab”。里面不只是做语音,还包括视觉模型、语言模型、自动驾驶、healthcare、fintech 等方向。

给了研究员充足预算买 GPU、训练 AI 模型。这个细节很重要,因为 AI 研究不是靠 PPT,真正进入训练阶段,首先要面对的就是算力。

当时百度语言模型已经接近 3 亿参数,用 GPU 训练一次至少三个多月,调参迭代也要等好几个月。也就是说,模型变大、训练变慢、算力不够这些问题,百度美研很早就在现场遇到了。
Deep Speech 2 之后,百度美研也形成了一个朴素判断:AI 的进步依赖更大的模型、更大的数据和更强的算力。周楠说,当时还没有把它系统化表达成今天大家熟悉的 Scaling Law,但经验直觉已经很清楚。

所以后来百度看 Cerebras,不是单纯看一个商业故事,而是因为研发现场真的有痛点。

Cerebras 当时还没流片,只有 simulator。周楠提到,能够验证这个 simulator 的公司,当时只有百度一家。百度把自己的语言模型跑在 simulator 上,去判断这种新算力架构能不能服务真实训练需求。

这笔投资的尽调也很细。良率、散热、电源、compiler、API 对接、PaddlePaddle 等风险,都被逐项拆开评估。周楠也说,如果没有百度美研研究员,这部分风险她没办法判断。

投决会的细节也很有意思。Cerebras 的 investment memo 发出后,不到两天就通过。周楠形容是“无痛秒过”。主持人追问有没有等流片后再投,她回答:没有。

再看人才,百度美研也曾是一个高密度节点。周楠提到,不少研究员后来去了 OpenAI、Anthropic、Inflection、Adept、Meta FAIR 等关键位置。Dario 在百度的经历,也被说成是职业生涯的重要环节。

重看百度 AI,至少能看到一件事:它十几年前确实就在现场。有人、有资源、有研究、有算力判断,也留下了自动驾驶和昆仑芯这样的沉淀。