换壳差24分:Harness怎么选
同一开源模型,换一层 coding harness,准确率就能差出一截。这周两份评测都在说:先选壳,再谈谁更强;题太简单时,准确率并列没有参考价值,要看成本和速度。以下为作者公开数字,非我们实测。 一,@joelniklaus Harness Leaderboard。固定模型与推理强度,只换壳:9 个 harness,28,849 次试验,跑在 Terminal-Bench 2.1 与 DeepSWE。三模型均值:mini-swe-agent 51.4%,OpenClaw 27.3%,约差 24 分。Pi 约 $0.29 / 解出一题,OpenCode 约 $3.35,约 11.7 倍。最佳壳随模型而变——GLM 上 mini-swe-agent,DeepSeek-V4.1-Flash 上 Hermes,Flint 上 Kimi Code。故事是选壳,不是某一模型公告。附 Harness Lens:34 个 harness 的 prompt / 工具文档。 二,@garrytan 前沿模型初步评测(帖内截图,标 preliminary)。7 套设置、同 20 题,准确率全在 71–79%;因 14/20 题各设置同分,他称测试过易,更难的 Terminal-Bench 重跑进行中。Opus 上 Claude Code 约 $0.22、约 40 秒,OpenClaw 约 $0.44、约 99 秒;Sol 上 Codex 最便宜最快,约 $0.17。 选型钩子:壳层单独就能动准确率与账单;题简单时别被准确率并列骗到。本篇只谈 harness 选型,不延伸到降本方法论或个人工具栈。HF Space 页面本次未读出表格;Joel 数字以作者长帖为准,Garry 以截图为准(preliminary)。 Harness 编码Agent 选型对比 ClaudeCode 开源评测



