以前让 AI 用电脑,基本靠看截图:截一张,猜按钮在哪,报个坐标点下去,再截一张看点没点中。
10 月 31 日早上,Vercel Labs 的 Chris Tate(agent-browser 作者)发布了开源工具 agent-desktop,一句话介绍:agent-browser 管浏览器,它管整台电脑。
它的思路是读系统的「无障碍树」。这套接口本来是给读屏软件用的,盲人用户靠它知道窗口里有哪些按钮、输入框。agent-desktop 的 snapshot 不截图,直接读这套信息,返回一段 JSON,每个能操作的元素都有一个编号 ref,agent 说「click 这个编号」就行,点完再 snapshot 一次确认。对比一下:Anthropic 文档写 computer use 每张截图约 1000–1800 个输入 token。它也有截图命令,只是看界面这一步不靠截图。
编号也防错:界面变了还拿旧编号去点会报 STALE_REF,每个报错都写明重试安不安全。
最好玩的是多光标,发布视频里,标着 Claude Code、fx、Cursor 的三个光标同时在备忘录、提醒事项、计算器上干活。光标是同时动的,但键鼠输入权有一把锁,动作轮流执行,不会两个 agent 往一个框里同时打字。默认在后台跑,不挪你的鼠标指针、不抢窗口焦点,网上有人拿它测“规划并下单买菜”,全程后台完成。
我在一台没显示器的 Linux 上试了:snapshot 一次约 630 毫秒,拿到 83 个 ref;三次点击各 133–170 毫秒。往备注框写字翻了一次车,报错直接给了下一步,换成真实键盘输入 323 毫秒写好。
公司那个没 API 的老软件,让你的 agent 照着按钮名字去点。它只是手和眼,计划和判断还在你的 agent 里。
github:vercel-labs/agent-desktop
#agentdesktop #Vercel #AI工具 #AIAgent #开源项目 #ClaudeCode #Codex #Cursor #电脑自动化 #效率工具





