Agent-desktop：通过无障碍接口操控桌面的局限
· BehindLines 编辑部
Agent-desktop让人工智能代理与桌面应用交互。它的代码仓库此前归于开发者lahfir名下，如今托管在Vercel Labs。2026年10月30日发布的1.0.2版本主要包含文档和维护方面的改动，并不代表项目刚刚诞生。这款工具以Apache 2.0许可证分发，宣称提供macOS、Windows和Linux接口，但各平台的能力有所不同。
通过元素描述界面
软件依靠系统暴露的无障碍树，也就是对应用元素的结构化描述。它生成一次界面观察，为可交互元素分配引用，再接收针对某个引用的操作。代理必须重新观察操作结果，才能继续。
在Linux上，该项目使用面向辅助技术的服务接口AT-SPI。这项基础设施的文档介绍了可访问对象、文本和选区等内容，也列出了Action接口。这些背景说明工具所利用的信息类型，并不构成相关维护者对agent-desktop的评价。
常规流程不要求从截图中识别像素。不过，截图仍可单独获取。常见问题文档还指出，原生可执行程序不要求使用远程模型服务，具体步骤由调用它的程序来驱动。
能力附带条件
引用始终关联于创建它的那次观察。界面变化可能让目标失效或含糊不清，需要再次观察。术语表还规定了部分观察的情况，因此一次响应并不总意味着整扇窗口都已被遍历。
不同系统的条件有所区别。macOS需要无障碍访问授权。根据README，Windows上与终端处于同一完整性级别的应用不需要额外授权；这一说明并不涵盖所有程序。Linux需要图形会话，窗口控制限于X11，其他功能也依赖X11、Wayland或GNOME。
能力表仍将打开macOS系统界面列为计划中的功能。代码仓库展示了Vercel Labs徽章。有用户报告了Wayland截图和Windows文本输入方面的问题。这些个别反馈并不能衡量失败率；支持三个平台也不意味着保证兼容每个应用。
常见问题文档最后提醒，窗口标题、剪贴板、截图和跟踪记录可能含有私人信息。向模型提供商发送描述的可选助手，与原生可执行程序是分开的。
这些来源描述的是项目声称的工作方式。在这里，它们既没有证明日常应用中的成功率，也没有证明节约了多少时间或计算资源。