AI给自己写代码:168小时提速6倍,纪录却挑了个旧的
11月9日,百度文心在官方研究博客放出一套系统,叫ERNIE Evolve。给它一个代码仓库、一个优化目标、一套评测标准,它自己找方向、改代码、跑实验,把有用的留下。
接进真实生产环境后,最扎眼的是623.6%。
在昆仑芯P800的低时延场景,它跑了约168小时,试了4轮方向:接原生融合算子、启用投机解码、改主机调度和同步机制、修通信路径。最优那版生成速度是基线的6.2倍,模型和部署方式都没动。
确定性推理吞吐那项,3天,3个方向,提到基线的133.7%。每个token平均生成时间缩短26%,首token延迟降12%。前提是严格保持确定性,不管批怎么组,采样结果必须逐位一致。
单请求解码速度提升14.9%,那个基线已经被工程师反复调过。
三个数字背后有个细节:把确定性采样换掉。那一步原来吃掉每轮约14%的GPU时间,改成一个Triton内核并行处理词表分块之后,成了单项最大收益。
架构上防了一手。评测器放在仓库外面,智能体看不见,增益必须超过噪声阈值。另有复核程序专查有没有钻评测漏洞、有没有跑偏方向。两道都过才留下。
公开基准上也打了三个。NanoChat验证集BPB 0.8763,公开对照是10个种子均值0.887791。NanoGPT Speedrun第一赛道8张H100用38.92秒,原纪录39.9秒;第三赛道2590步,原纪录2690步。
冷水在这儿。
SOL-ExecBench那项,235个kernel问题,它拿0.819,榜首0.827。没赢。
更要紧的是那个39.9秒。百度拿它当对照,可10月28日已经有人在PR里贴出6.7秒的成绩。挑一个被人打破的数字当靶子,赢了也不硬气。
系统没开源,GitHub上只有最终代码和日志,生产收益全是自报。
但有一处跟上次不一样。
11月5日METR那份报告说,Anthropic一年走完两年的路,八成加速来自AI自己,然后那张量化表被删了。这次百度把每轮改动的代码、结果、日志都摊出来,日志里内嵌执行代码或者标SHA-256。
过程敢不敢给人看,是这件事真正的分水岭。
AI开始帮人写AI那天起,比的东西就变了。比谁愿意把中间过程摆在桌上。
百度自己的说法是,这套闭环必须由人控制、可中断,在明确的目标、权限、资源边界内跑。这话听着稳,也说明他们知道边界在哪。
能自己改代码,却得靠人决定它能不能继续改。这个分寸比623.6%难拿捏。
你觉得,让AI改自己的代码,哪一步最该有人盯着?


