众力资讯网

微软没换模型,复杂任务通过率涨了 22 个百分点 AI 能不能把活干完,越来越

微软没换模型,复杂任务通过率涨了 22 个百分点

AI 能不能把活干完,越来越不只看模型,还要看模型外面的 Harness。

模型没换,只换 Harness,微软的复杂任务通过率涨 22.1 个百分点,输入 token 还少 21%。

测试用的是同一个 Claude Opus 4.8。

Anthropic 的 Claude Code 当初一耗尽上下文就接不上活。

它改 Harness:每个阶段存进度,下一轮读回来接着跑。这套东西后来成了对外卖的 Managed Agents。

Kimi 更直接。

同一个 K3,配 Codex 通过率 66.7%,配 DeepSeek 的 63.3%,配自家 Kimi Code 56.7%。模型没动,差 10 个点。

南洋理工测了 66 种模型与 Harness 组合,换 Harness 能改变模型排名。

斯坦福等机构的 Meta-Harness 让 AI 按失败记录改 Harness,文本分类准确率涨 7.7%,上下文 token 降到四分之一。

这些例子指向同一个结论:模型负责想,Harness 负责把 “想” 变成 “做完”。

工具怎么调、步骤怎么排、断了从哪接、错了怎么重试,都在它手里。

它也不是一劳永逸。有 Harness 为新任务优化后,SWE-bench 从 94% 掉到 32%。模型一升级,原来的调优也可能失效。

所以评估一个 AI,别只问模型多强,先问它跑在什么 Harness 上。

本文基于公开报道整理,AI 辅助梳理框架,观点输出与事实核对由本人完成。
AI Agent Harness