AI 写代码这件事,朋友圈里流传的版本一直很漂亮。同类模型在旧基准 WebCompass-edit 上,拿过 99.4% 的完成率,接近满分。10 月 26 日,阿里 Token Hub 团队联合复旦、浙大、港中文、上海交大、南洋理工,在 arXiv 挂出一套新考卷,叫 Co-Design Bench。最强的 GPT-6 Astra,整单全过率 26.4%。预印本,未经同行评审,11 月 8 日经 The Decoder 报道后开始在英文圈扩散,中文圈这两天才跟上来。
99.4% 属于旧基准,答题的是 Claude Opus 4.8,题库跟新考卷不同,不能直接对位。但旧考卷和新考卷的差别本身,就是这篇论文要说的事。考卷名字里的 Co-Design,指的是人和 AI 一起改产品的协作方式,这恰恰是各家工具宣传里最看重的场景。
研究团队从 26,314 场真实开发者编码会话、37,463 条去重请求里筛出 273 道任务,筛选标准很直接:用户把同一个要求用不同说法讲了两三遍、追着问了四次以上,或者干脆回滚了改动。专挑那些历史上真的翻过车的活。
每道题配专家写的验收标准,共 2,331 条,全部藏在模型看不到的地方。题分两条赛道:多模态编辑 100 题,做局部修改,需求里可能附截图、音频、视频或文档;仓库编辑 173 题,跨组件、跨路由、跨数据流的联动改动。十个模型全部跑在同一个 Claude Code 框架里,同样提示词,限时 3 小时、120 轮——这是测试设定,不是产品能力上限。
GPT-6 Astra 平均每个任务满足 69.9% 的验收条目,这道题算是干完了七成。可整道题所有条目都通过的,只有 26.4%。分赛道更刺眼:局部修改全过 41.0%,仓库编辑全过 17.9%。排位上,Claude Opus 5 第二,18.3%;阿里自家的 Qwen3.8-Max 第三,16.5%;Grok 4.6 垫底,6.6%。这里要交代一句利益相关:论文由阿里主导,Qwen 系三个模型在被测名单里,这个背景读者应该知道。
一个 AI 裁判在浏览器里真的把功能点一遍,看源代码,看 Playwright 渲染记录;第二个 AI 复核员专门反驳每一个“通过”的判定——查有没有写死答案充数,有没有看着能点实际点不到的按钮。视觉相关的结论必须有成功渲染的截图,交互相关的必须有浏览器操作记录,缺证据直接判不成立。这套流程砍掉的,正是“看起来做完了”的那部分。
70% 的分数不代表七成的活能交出去,这两件事的差别,正是这篇论文最值钱的地方。
那 69.9% 不是白干的,仓库题平均每题压着 10.3 条验收标准,AI 确实把大部分条目做掉了。写成“AI 没用”是另一种失真。
缺口不在开头,在结尾——依赖链的末端。论文举的例子很朴素:给视频编辑器加功能,要求同时限制片段数、限制总时长、缩放后时间线不错位、删掉的片段还能加回来,这几件事连着同一份状态,漏一处,人就卡在下一步。还有一道是从收据里读出金额、改表格那一行、让所有引用这个数的汇总跟着变。屏幕上那个数对了,不等于别的视图也变了。一个按钮做出来了,背后的数据流没跟着动。这恰好是人眼扫一遍最容易跳过的地方。
漏的位置还有规律,改动类型越多,全过率越低,arXiv 摘要的原话是,全部十个端点在跨三四类改动的仓库任务上,条目完成率都低于跨一二类的。
这四十几分的缺口不会消失,它转移了。从写代码的人身上,转到验收代码的人身上。Anthropic 自己披露过,九成代码由 Claude 写,日合并量从 2,500 涨到 3 万。如果每个单子都有三成尾巴,3 万次合并背后的审阅量,是任何一个团队都接不住的。AI 省下的是生产时间,成本压到了验收那一环。审阅这件事没法像生成那样并行扩容,生成可以一万张卡一起跑,审阅还得一颗一颗人脑来。你以为被替代的工作没了,换了个岗位回来:AI 的质检员。
273 道题全部来自“用户自己都说不清”的会话,26.4% 里有相当一部分,不是模型的错,是需求在交付前就没被定义清楚。论文里那个例子说得明白:给发票表单加个折扣字段,背后藏着五六条没人写下来的默认期待——放在哪、怎么取整、增值税怎么算、老发票改不改、PDF 上显示什么。提需求的人心里有,模型不知道,复审的人也不知道,除非有人把它写下来。学生也在这个场景里,AI 能帮把作业写完,作业能不能交是另一件事,老师改的是整份作业,不是完成度的百分比。
这批题是故意挑难的,作者自己没说这是“日常任务的失败率”。把它读成 AI 三件活干不好一件,是误读。准确的读法是:在那些曾经把人绊倒过的真实工单上,最强的模型大多数时候也留了个尾巴。
换工具,同一个模型差 16 到 19 个点:Qwen3.8-27B 在仓库编辑上,一套框架打 74.9%,换一套打 56.0%,局部编辑赛道上两个模型的排名干脆翻转。论文作者的建议是把模型和工具捆在一起报告,企业采购前先测“模型加你公司那套工具加你自己的工单”这个组合。拿公共排行榜做采购决策,是当下最容易犯的错。另一个是堆算力没用:GLM-5.2 在局部改动上烧了约 729 万 token,GPT-6 Astra 只用约 124 万,前者得分更低。卖力气不等于交活。
这套考卷真正戳破的,是“完成”这个词的含糊地带。旧考卷只问改对了几处,新考卷问的是这单活能不能签字收货。99.4% 和 26.4% 之间隔着的,不是模型的智力,是最后一条标准。前十条都做对了没人发奖,漏了最后一条整单作废。这种评分方式残酷,现实就是这么结算的,用户不会为“完成了 69.9%”付钱。老板跟你说 AI 能替代谁的时候,这份考卷给出的答案很具体:替代不了,但工作变了。听供应商报成绩,先问一句,你说的是条目达标率,还是整单交付率。