天啊,文心 5.5 Flash 正式版还没发布,百度居然先把背后的一项研发技术公开了!此前,百度已经发布了文心 5.5 Flash Base,如今又首次披露了参与新模型研发的 AI 自动研究系统 ERNIE Evolve。
更让人惊讶的是,ERNIE Evolve 已经实际参与了文心 5.5 Flash 的研发,能够自主寻找优化方向、修改代码、设计实验,再根据测试结果调整研究计划。而且已经拿出了实际成果,在文心 5.5 Flash 的一项推理优化任务中,经过约 168 小时、4 轮探索,最优版本的生成速度达到了原基线的 623.6%。最近 AI 圈一直在讨论 RSI,也就是递归自我改进,百度这次披露的技术,也让这个概念有了更具体的应用案例。以前大模型研发主要依靠研究人员反复实验。发现性能问题后,需要分析原因、提出方案、修改代码,再通过测试判断效果。如果改完反而变慢,就得重新寻找原因,尝试其他方案。整个过程需要大量时间,RSI 探索的方向,就是让 AI 参与这些研究环节,能够根据实验反馈持续寻找改进方案。OpenAI、Anthropic 等公司也在探索相关技术,百度则通过 ERNIE Evolve 展示了自己的最新进展。为了让 AI 能够连续开展研究,ERNIE Evolve 设计了一套双层研究循环。外层负责规划研究方向,根据已有知识和历史实验结果,判断哪些问题值得探索,还能同时推进不同路线。内层负责具体执行,从已有代码中选择合适的版本,提出改进假设、修改代码,再运行测试,根据结果继续调整。系统内部还有多个智能体分工协作,分别负责研究规划、实验目标选择和代码修改。不过,AI 自己修改代码后,实验结果是否可靠也很重要。如果只看它自己报告的成绩,就可能出现钻评测漏洞的情况,表面分数提高了,实际问题却没有解决。所以 ERNIE Evolve 设置了独立的评测和复核环节,只有通过检查的改进才会被保留。每轮实验无论成功还是失败,相关结果也会记录下来,为后续研究提供参考。这样一来,AI 就能在明确的研发目标和约束下,持续尝试不同方案,并利用之前的经验调整研究方向。百度公布的基准测试成绩,也展示了这套系统的研究能力。在 NanoChat AutoResearch 和 NanoGPT Speedrun 两项任务中,ERNIE Evolve 分别针对模型训练算法和训练速度进行优化,三个评测指标都超过了当时公开验证的最佳成绩,取得了新的 SOTA 表现。比如 NanoGPT Speedrun 的一项测试中,达到目标训练效果的时间从 39.9 秒缩短到了 38.9 秒。
公开测试取得了不错的成绩,ERNIE Evolve 又是如何参与文心 5.5 Flash 实际研发的呢?就拿推理优化来说,ERNIE Evolve 在文心 5.5 Flash 的特定低时延场景下,尝试通过不同方案提升模型的生成速度。它先后尝试了融合算子、投机解码以及调度和通信优化,经过多轮探索,最终找到了有效的性能提升方案。而且,研发任务也不总是单纯追求速度。在文心 5.5 Flash 的另一项确定性推理优化中,要求模型在相同条件下保持计算结果一致,同时提高吞吐。ERNIE Evolve 用约 3 天探索了不同方案,最终让吞吐达到基线的 133.7%,平均每 Token 生成时间缩短 26%,首 Token 延迟降低 12%。从目前披露的成果来看,ERNIE Evolve 已经能够参与具体的模型研发任务,持续开展实验、验证结果,并调整研究方向。至于 AI 未来能在多大程度上自主完成模型研发,还需要更多实践来验证。这也让大模型研发多了一个值得关注的方向,过去模型能力的提升,很大程度上依赖研究人员不断尝试和优化,现在 AI 已经开始参与这些研发工作了。如果 AI 能帮助研究人员更快发现问题、筛选方案、验证效果,未来大模型的研发效率还有机会进一步提升。再看百度近期的动作,从文心 5.5 Flash Base 开源,到 ERNIE Evolve 研发技术首次披露,短短几天就接连释放了新进展。而文心 5.5 Flash 正式版或将于近期发布。模型的技术基础已经亮相,背后的部分研发过程也提前公开了。等到正式版推出,文心究竟能在模型能力和推理效率上带来怎样的表现,还挺让人期待的!