众力资讯网

EmbodiedFirst Exam:给coding agent的首考

coding agent已经在数字世界里通过了一轮又一轮考试。下一张试卷,开始指向物理世界。如果代码需要真正作用于机器人,智能体能否理解场景、选择控制策略,并让行为通过可复现验证?

EmbodiedFirst Exam 近日上线。它把自己定义为面向机器人领域 coding agent 的 Terminal-Bench:不只看模型能不能回答机器人问题,而是把自然语言目标、可复现的仿真场景、机器人控制接口和自动验证器放进同一套评测框架,直接检查智能体能否把代码转化为有效的机器人行为

在这一公开榜单中,排名第一的GPT-6 Astra通过率为 33%,第二名Claude Opus 5.5为 22%,第三名Gemini 4 Argon为 18%

EmbodiedFirst Exam 已收录 1,090 个任务、2,128 个测试、31 套 benchmark suites 和 44 种机器人。其中,官方从全部任务中进一步筛出 449 个 core tasks,用于集中观察更难任务上的模型能力

EmbodiedFirst Exam 提供 Standard 与 Privileged 两类模式

- Standard / Standard-realtime:智能体只能通过机器人 API 行动,接收 RGB、深度、关节状态等有限观测,不直接获得物体位姿;动态环境使用实时模式。这更接近机器人在现实部署中面对的信息约束。
- Privileged:智能体可以进入模拟器内部读取完整状态、反复重置,并生成轨迹后在干净环境中回放。这一模式更适合观察模型在信息充分、调试空间更大时的能力上限。

两种模式使用同一场景和起始状态,差别主要在于模型能看到什么、能调用什么,以及控制结果如何进入机器人。这种设计让结果不只是一项总分,也能帮助研究者判断失败更接近感知、规划、控制、工具使用还是环境交互问题#codingagent #具身智能 #具身智能体