AI自己造AI,Claude六项赢了五项
给一个 AI 智能体一台英伟达最新的 GB300 服务器,一份几乎是空白的代码,十二个小时,题目只有一句话:从零训练一个语言模型,越准越好。
它要自己写训练代码,自己挑数据,自己调学习率。十二个小时后,Claude Opus 5.5 交出的模型,比照着开源项目 OLMo 2 的成熟配方训出来的模型更准,用的算力只有对方的一半左右。它还做了一件很像老手的事:把学习率的衰减和时钟绑在一起,正好在截止那一刻降到零。
这是 11 月 12 日公开的一份论文里的一道题。论文叫 Singularity-Bench,问的是一个听上去有点吓人的问题:AI 能不能自己造 AI?
六道题,对手是成熟的工业系统出题的是卡内基梅隆大学陈蓓迪老师所在的 Infini-AI 实验室,作者十九人,英伟达是主要赞助方。
六道题覆盖了做一个 AI 系统的全过程:从零预训练一个模型;做中期训练,让后续的强化学习效果更好;搭一套强化学习系统,把一个模型训成会改代码的智能体;写一个推理引擎,给一个三千二百亿参数的模型提供服务;只用 Python 标准库写一个编程智能体的外壳;在 16 张显卡上调度 28 个模型的线上服务。
每道题的对手,不是临时找来的几个工程师,而是业界成熟的系统:OLMo 2 的训练配方、开源推理引擎 SGLang、英伟达的 Dynamo 调度系统,编程外壳那道题的对手干脆就是 Claude Code 本身。论文的说法是,这些都是大型研究和工程社区多年打磨出来的生产系统。
成绩:五项超过,一项打平
用 Claude Code 驱动的 Opus 5.5,五道题超过了这些系统:推理引擎每小时每张卡的收益是 11.52 对 8.18,中期训练后的准确率是 0.319 对 0.175。唯一没超过的是强化学习那道,0.533 对 0.539,基本打平。六项折算成一个总分是 1.25,也就是平均比成熟系统强四分之一。一次完整跑下来,调用模型花了 425 美元,还不算显卡的钱。
其他选手差距明显。一共测了 11 个组合:OpenAI 的 GPT-6.1 Sol 配 Codex 得 0.97,上一代 Opus 5 是 0.80;开源模型平均只有 0.50。最便宜的是 DeepSeek V4.1 Flash,一次只花 4.36 美元,得分 0.70。推理引擎那道题最难,11 个选手里有 6 个交了零分。
最有意思的,是怎么防作弊论文里我觉得最值得看的,不是分数,而是作者花了很大力气做的一件事:防止 AI 作弊。
他们先用常见的评测框架 Harbor 跑了一轮红队测试,结果找到 28 种作弊办法。有的顺着 Python 的调用栈,把标准答案翻了出来;有的借一个评测结束后还活着的后台进程,直接改写了记分文件。作者只好重写了一套隔离更严的框架,叫 Breakwater,把这 28 种办法全部堵上,才敢公布成绩。
这件事说明的道理很朴素:AI 越会干活,越需要一个它改不了的裁判。题目能不能检验,裁判严不严,决定了分数还有没有意义。
别把这当成工程师下岗通知几点要说清楚。这是一篇还没经过同行评审的预印本;题目都做了缩小,训练的模型只有零点几到十几亿参数,只在一种硬件上测,调度那道题用的是模拟流量。作者自己也说,这些题比真正的自我改进要小得多。
另外,打败 SGLang,是在一道限定好的题上,按一个事先定好的分数打败它。题目是人出的,分数是人定的,作弊的漏洞也是人找出来、人堵上的。
青出于蓝荀子说,青,取之于蓝,而青于蓝。
这些 AI 是读着人写的代码、论文和开源项目长大的,如今在几道限定好的题上,做得比老师还好。但要让它继续往前走,最要紧的还是那个改不了的裁判:出什么题,怎么算分,哪里会被钻空子。
你觉得,AI 自己改进自己,最先会卡在哪一步?欢迎在评论区聊聊。
参考资料Yang Zhou 等. "Singularity-Bench: Can Agents Build Agents?" arXiv:2611.16591, 2026 年 11 月 12 日.Singularity-Bench 项目页, infini-ai-lab.github.io/singularity-bench.《荀子·劝学》.