不用截屏也能让 AI 操作你的电脑：Vercel 的 agent-desktop 一天涨了 2400 星

以前让 AI 帮你操作电脑，基本靠截屏：截一张图、猜按钮在哪、再点下去，慢还容易点错。Vercel Labs 的 agent-desktop 换了个路子：不看图，直接读操作系统的无障碍树，把界面变成带编号的 JSON，让 AI 按编号点按输入，干完再读一遍确认。Apache-2.0 开源，11 月 5 日一天涨了 2470 星，冲上 GitHub 趋势第一。

核心特点

• 不靠截屏，不靠像素比对：读 macOS、Windows、Linux 的无障碍树（accessibility tree），桌面应用的每个可操作元素都变成 JSON 里带 ref 的一项；
• 操作是个闭环：snapshot 抓界面 → 按 ref 点按或输入 → 再 snapshot 验证结果，循环直到办完。循环逻辑在你自己的 Agent 里，agent-desktop 本身不含模型；
• 两种形态：CLI 和 C 库。安装一行命令：npm install -g agent-desktop，Homebrew 也行（brew install agent-desktop），x64 和 ARM64 都有原生二进制；
• 默认无头操作：走无障碍 API，不动鼠标、不抢焦点；想看它实际动手，加 --headed；
• 引用有保质期：每个 ref 只属于当次 snapshot，界面变了会报 STALE_REF，多个窗口会报 AMBIGUOUS_TARGET，重新抓快照就行；密集界面先 snapshot --skeleton 画骨架再钻进去；
• 上手有现成命令：agent-desktop status 看平台和权限，agent-desktop permissions --guide 在 macOS 上一步步带你开无障碍授权；
• 隐私提醒仓库自己写在前面：快照、剪贴板读取、截图里可能含私人桌面内容，别往公开日志和上传里传。

说白了，它补的是 Agent 的最后一块短板：以前 Claude Code、Cursor 这类助手只能读写文件，现在能真正去点桌面应用了——Finder 里整理文件、Slack 里翻消息，都不用你一个个教坐标。

入口与出处

项目地址：github.com/vercel-labs/agent-desktop（Apache-2.0，2026 年 2 月建仓，截至 11 月 5 日 1.6 万星）；文档：agent-browser.dev/desktop；npm 包名 agent-desktop。信息核对日期：2026 年 11 月 5 日。相关阅读：给编程助手补设计词汇的 impeccable，也是最近趋势榜上的开源项目。

常见问题

是否免费？
开源免费，Apache-2.0 协议。它本身不含模型，模型费用看你接的 Agent。

信息是最新的吗？
核对时间 2026 年 11 月 5 日，功能与授权可能调整，请以官方最新说明为准。

链接打不开怎么办？
先刷新或换网络，也可在评论区留言，我会核对补档。

本站是官网吗？
不是，本站是独立介绍，使用问题请优先找官方。

来源声明：本文根据项目官网、官方文档及公开资料整理，本站与该项目无官方隶属关系；功能、价格与授权可能调整，请以官方最新说明为准。未亲自验证的内容不写"实测"。

你会放心让 AI 帮你点鼠标吗？评论区聊聊。