微软没换模型,复杂任务通过率涨了 22 个百分点
AI 能不能把活干完,越来越不只看模型,还要看模型外面的 Harness。
模型没换,只换 Harness,微软的复杂任务通过率涨 22.1 个百分点,输入 token 还少 21%。
测试用的是同一个 Claude Opus 4.8。
Anthropic 的 Claude Code 当初一耗尽上下文就接不上活。
它改 Harness:每个阶段存进度,下一轮读回来接着跑。这套东西后来成了对外卖的 Managed Agents。
Kimi 更直接。
同一个 K3,配 Codex 通过率 66.7%,配 DeepSeek 的 63.3%,配自家 Kimi Code 56.7%。模型没动,差 10 个点。
南洋理工测了 66 种模型与 Harness 组合,换 Harness 能改变模型排名。
斯坦福等机构的 Meta-Harness 让 AI 按失败记录改 Harness,文本分类准确率涨 7.7%,上下文 token 降到四分之一。
这些例子指向同一个结论:模型负责想,Harness 负责把 “想” 变成 “做完”。
工具怎么调、步骤怎么排、断了从哪接、错了怎么重试,都在它手里。
它也不是一劳永逸。有 Harness 为新任务优化后,SWE-bench 从 94% 掉到 32%。模型一升级,原来的调优也可能失效。
所以评估一个 AI,别只问模型多强,先问它跑在什么 Harness 上。
本文基于公开报道整理,AI 辅助梳理框架,观点输出与事实核对由本人完成。
AI Agent Harness