GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载agent-desktop 是一款让 AI Agent 可靠操作桌面应用的开源工具它通过操作系统辅助功能Accessibility树读取应用的真实 UI 结构而不是靠猜测像素。本文是 agent-desktop 观察命令的完全参考与实战清单涵盖snapshot快照、find搜索、get属性读取、is状态检查与 surface 快照菜单、弹窗、浮层帮新手一次配齐“看清 UI”的完整技能。观察是自动化的地基先看架构再上手命令agent-desktop 的核心循环是OBSERVE → DECIDE → ACT先观察snapshot再决策然后按 ref 执行动作最后再观察验证。所有观察命令都会返回结构化 JSON 和带快照编号的元素引用ref例如s8f3k2p9:e3——后续动作只需引用它即可精准定位元素动作前还会重新识别目标UI 变了会明确报STALE_REF而不是误点别处。 记住一句话先 snapshot后 actref 是“指路牌”不是“坐标”。snapshot 快照读取真实 UI 结构的第一站snapshot是观察命令的核心它把应用的辅助功能树变成带 ref 的 JSON新手只需要记住几个高频参数agent-desktop snapshot --app Finder -i # 只看可交互元素 agent-desktop snapshot --app Slack -i --compact # 极致省 token agent-desktop snapshot --app Xcode --max-depth 5 # 限制树深度 agent-desktop snapshot --app Finder --include-bounds # 附带像素坐标参数默认值作用--app NAME当前聚焦应用指定目标应用-i/--interactive-only关只保留按钮、输入框等可交互元素--compact关省略空的结构节点省 token--skeleton关3 层浅层概览截断容器带children_count--root REF-从某个 ref 向下钻取与--surface互斥--surface TYPEwindow指定快照面menu、sheet、popover等--max-depth N10限制树的最大深度返回值中的snapshot_id必须保留下来——它是所有 ref 的“户口”限定形 ref 如s8f3k2p9:e1自带快照号可直接用于后续命令旧式裸 refe1则必须搭配--snapshot snapshot_id才有效。完整参数与输出示例见 commands-observation.md。省 98% token 的秘诀skeleton 骨架快照 渐进钻取面对 Slack、VS Code 这类元素密集的应用整窗快照动辄数万个 token。agent-desktop 的解法是渐进式骨架遍历progressive skeleton traversal先用--skeleton拿一张 3 层浅图再用--root钻入感兴趣的区域。# 1️⃣ 浅层概览截断的容器会显示 children_count agent-desktop snapshot --skeleton --app Slack -i --compact # 2️⃣ 钻入目标区域例如 e3 “Messages” 分组 agent-desktop snapshot --root e3 --snapshot s8f3k2p9 -i --compact # 3️⃣ 在钻取结果中操作元素 agent-desktop click e12 --snapshot s8f3k2p9 # 4️⃣ 重新钻取同一区域验证状态变化 agent-desktop snapshot --root e3 --snapshot s8f3k2p9 -i --compact钻取有两个关键行为源码实现见 workflows.md作用域失效scoped invalidation重新钻取同一--root时只替换该分支下的旧 ref其他区域的 ref 保持有效不会“全盘重置”浅层可交互元素照常拿 ref骨架深度内的按钮、输入框不会被截断丢掉。find 定向搜索只返回你要的那几个 ref当你已经知道目标的角色或名称时find比 snapshot 更快——它直接返回匹配的元素列表而不是整棵树agent-desktop find --app Finder --role button --name OK agent-desktop find --app Safari --text Sign In --first agent-desktop find --app App --role button --count # 只数数量 agent-desktop find --root s8f3k2p9:e4 --role textfield --value README.md --first参数作用--role按角色匹配button、textfield、checkbox等大小写不敏感--name/--value按可访问名称 / 当前值匹配--text跨 name、value、title、description 的模糊匹配--native-id按原生自动化 IDAXIdentifier匹配--exact强制精确匹配防止子串误中--state TOKEN[BOOL]按状态过滤可重复如--state enabled --state focusedfalse--first/--last/--nth N/--count只取首个、末个、第 N 个或数量--limit N最多返回 N 条列表默认 50新手友好细节当--role一条都匹配不到时响应会附带roles_present字段列出屏幕上实际存在的角色——你能立刻区分“写错了角色名”和“屏幕上确实没有”这是自动重试时非常有用的提示。get 与 is精准读取属性与布尔状态拿到 ref 之后不必再整窗 snapshot用get和is做“点查”即可。get读取单个属性agent-desktop get s8f3k2p9:e2 --property value # 输入框当前内容 agent-desktop get s8f3k2p9:e3 --property bounds # 像素位置 agent-desktop get s8f3k2p9:e4 --property states # 当前状态列表属性返回内容text/value当前文本/值text是value的别名也是默认值title元素或窗口标题bounds{x, y, width, height}像素矩形role元素角色字符串states当前生效的状态数组is检查布尔状态实现见 is_check.rsagent-desktop is s8f3k2p9:e7 --property checked agent-desktop is s8f3k2p9:e1 --property visible属性检查内容visible元素是否在屏幕上默认enabled元素是否可交互checked复选框/开关是否选中focused是否持有键盘焦点expanded披露/树节点是否展开selected可选元素是否被选中⚠️ 一个容易踩的坑is --property enabled若原生平台无法判断会返回result: false且applicable: false——这是“未知”不是“确定不可用”。写自动化判断时记得检查applicable字段。surface 快照实战清单菜单、弹窗、浮层一网打尽snapshot默认拍的是窗口window但很多关键 UI 长在“浮层”里。先用list-surfaces探测应用当前有哪些面再用--surface精确捕获agent-desktop list-surfaces --app Notes # 探测可用 surface agent-desktop snapshot --app TextEdit --surface menubar -iSurface 类型典型场景window主窗口默认focused当前焦点所在的面menubar应用菜单栏属于应用多窗口也不歧义menu已展开的下拉菜单 / 右键菜单sheet模态对话框如“另存为”popover弹出面板alert系统/应用警告框三份高频实战场景照着做即可菜单栏操作snapshot --surface menubar找到菜单项 →click→wait --menu→snapshot --surface menu点选子项处理对话框触发保存后wait --window Save→只拍--surface sheet别拍整个窗口→ 填字段、点确认 → 回到窗口重新 snapshot右键上下文菜单right-click目标 →snapshot --surface menu读取菜单 → 点选 →wait --menu-closed。 反模式提醒浮层已经很小了不要对 surface 再用--skeleton有 overlay 开着时也不要拍整窗ref 会淹没在无关节点里。新手照抄的完整观察工作流清单把上面五件武器串成日常流水线确认权限agent-desktop permissions被拒则permissions --request探测面list-surfaces看当前有哪些可拍的面定位目标已知角色/名称 →find未知 →--skeleton概览 --root钻取点查状态get读属性、is查布尔状态避免无谓整窗快照动作后重观察点完按钮、关完弹窗只重新钻取受影响区域--root其余 ref 继续有效等待异步 UI菜单、弹窗、文字加载用wait --menu/wait --window/wait --text别靠 sleep 碰运气。更多模式表单填写、滚动查找、多窗口协作等可查 workflows.md命令速查见 README.md 的 Commands 小节。延伸阅读观察命令完整参考commands-observation.md交互命令参考commands-interaction.mdsnapshot 参数定义源码src/cli_args/snapshot.rs核心命令实现crates/core/src/commands/赞分享GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载相关推荐ScyllaDB nodetool snapshot 快照命令完全指南原理、参数与备份实战ScyllaDB nodetool snapshot 快照命令完全指南原理、参数与备份实战 本文基于 ScyllaDB 官方文档《Nodetool snaps数据库分布式数据库后端大数据Tarko Agent Snapshot 快照测试全解析generate / replay 命令与确定性回归验证实战Tarko Agent Snapshot 快照测试全解析generate / replay 命令与确定性回归验证实战 本文档面向需要为 tarko/agen人工智能大模型AI Agent桌面应用GUI 自动化浏览器控制MCP 服务MCP ClientsLinux find 命令完全速查指南基于 Reference 项目 Find 备忘清单的实战手册Linux find 命令完全速查指南基于 Reference 项目 Find 备忘清单的实战手册 find 是 Linux/Unix 系统中功能最强大的文件文档教程知识库创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载agent-desktop 是一款让 AI Agent 可靠操作桌面应用的开源工具它通过操作系统辅助功能Accessibility树读取应用的真实 UI 结构而不是靠猜测像素。本文是 agent-desktop 观察命令的完全参考与实战清单涵盖snapshot快照、find搜索、get属性读取、is状态检查与 surface 快照菜单、弹窗、浮层帮新手一次配齐“看清 UI”的完整技能。观察是自动化的地基先看架构再上手命令agent-desktop 的核心循环是OBSERVE → DECIDE → ACT先观察snapshot再决策然后按 ref 执行动作最后再观察验证。所有观察命令都会返回结构化 JSON 和带快照编号的元素引用ref例如s8f3k2p9:e3——后续动作只需引用它即可精准定位元素动作前还会重新识别目标UI 变了会明确报STALE_REF而不是误点别处。 记住一句话先 snapshot后 actref 是“指路牌”不是“坐标”。snapshot 快照读取真实 UI 结构的第一站snapshot是观察命令的核心它把应用的辅助功能树变成带 ref 的 JSON新手只需要记住几个高频参数agent-desktop snapshot --app Finder -i # 只看可交互元素 agent-desktop snapshot --app Slack -i --compact # 极致省 token agent-desktop snapshot --app Xcode --max-depth 5 # 限制树深度 agent-desktop snapshot --app Finder --include-bounds # 附带像素坐标参数默认值作用--app NAME当前聚焦应用指定目标应用-i/--interactive-only关只保留按钮、输入框等可交互元素--compact关省略空的结构节点省 token--skeleton关3 层浅层概览截断容器带children_count--root REF-从某个 ref 向下钻取与--surface互斥--surface TYPEwindow指定快照面menu、sheet、popover等--max-depth N10限制树的最大深度返回值中的snapshot_id必须保留下来——它是所有 ref 的“户口”限定形 ref 如s8f3k2p9:e1自带快照号可直接用于后续命令旧式裸 refe1则必须搭配--snapshot snapshot_id才有效。完整参数与输出示例见 commands-observation.md。省 98% token 的秘诀skeleton 骨架快照 渐进钻取面对 Slack、VS Code 这类元素密集的应用整窗快照动辄数万个 token。agent-desktop 的解法是渐进式骨架遍历progressive skeleton traversal先用--skeleton拿一张 3 层浅图再用--root钻入感兴趣的区域。# 1️⃣ 浅层概览截断的容器会显示 children_count agent-desktop snapshot --skeleton --app Slack -i --compact # 2️⃣ 钻入目标区域例如 e3 “Messages” 分组 agent-desktop snapshot --root e3 --snapshot s8f3k2p9 -i --compact # 3️⃣ 在钻取结果中操作元素 agent-desktop click e12 --snapshot s8f3k2p9 # 4️⃣ 重新钻取同一区域验证状态变化 agent-desktop snapshot --root e3 --snapshot s8f3k2p9 -i --compact钻取有两个关键行为源码实现见 workflows.md作用域失效scoped invalidation重新钻取同一--root时只替换该分支下的旧 ref其他区域的 ref 保持有效不会“全盘重置”浅层可交互元素照常拿 ref骨架深度内的按钮、输入框不会被截断丢掉。find 定向搜索只返回你要的那几个 ref当你已经知道目标的角色或名称时find比 snapshot 更快——它直接返回匹配的元素列表而不是整棵树agent-desktop find --app Finder --role button --name OK agent-desktop find --app Safari --text Sign In --first agent-desktop find --app App --role button --count # 只数数量 agent-desktop find --root s8f3k2p9:e4 --role textfield --value README.md --first参数作用--role按角色匹配button、textfield、checkbox等大小写不敏感--name/--value按可访问名称 / 当前值匹配--text跨 name、value、title、description 的模糊匹配--native-id按原生自动化 IDAXIdentifier匹配--exact强制精确匹配防止子串误中--state TOKEN[BOOL]按状态过滤可重复如--state enabled --state focusedfalse--first/--last/--nth N/--count只取首个、末个、第 N 个或数量--limit N最多返回 N 条列表默认 50新手友好细节当--role一条都匹配不到时响应会附带roles_present字段列出屏幕上实际存在的角色——你能立刻区分“写错了角色名”和“屏幕上确实没有”这是自动重试时非常有用的提示。get 与 is精准读取属性与布尔状态拿到 ref 之后不必再整窗 snapshot用get和is做“点查”即可。get读取单个属性agent-desktop get s8f3k2p9:e2 --property value # 输入框当前内容 agent-desktop get s8f3k2p9:e3 --property bounds # 像素位置 agent-desktop get s8f3k2p9:e4 --property states # 当前状态列表属性返回内容text/value当前文本/值text是value的别名也是默认值title元素或窗口标题bounds{x, y, width, height}像素矩形role元素角色字符串states当前生效的状态数组is检查布尔状态实现见 is_check.rsagent-desktop is s8f3k2p9:e7 --property checked agent-desktop is s8f3k2p9:e1 --property visible属性检查内容visible元素是否在屏幕上默认enabled元素是否可交互checked复选框/开关是否选中focused是否持有键盘焦点expanded披露/树节点是否展开selected可选元素是否被选中⚠️ 一个容易踩的坑is --property enabled若原生平台无法判断会返回result: false且applicable: false——这是“未知”不是“确定不可用”。写自动化判断时记得检查applicable字段。surface 快照实战清单菜单、弹窗、浮层一网打尽snapshot默认拍的是窗口window但很多关键 UI 长在“浮层”里。先用list-surfaces探测应用当前有哪些面再用--surface精确捕获agent-desktop list-surfaces --app Notes # 探测可用 surface agent-desktop snapshot --app TextEdit --surface menubar -iSurface 类型典型场景window主窗口默认focused当前焦点所在的面menubar应用菜单栏属于应用多窗口也不歧义menu已展开的下拉菜单 / 右键菜单sheet模态对话框如“另存为”popover弹出面板alert系统/应用警告框三份高频实战场景照着做即可菜单栏操作snapshot --surface menubar找到菜单项 →click→wait --menu→snapshot --surface menu点选子项处理对话框触发保存后wait --window Save→只拍--surface sheet别拍整个窗口→ 填字段、点确认 → 回到窗口重新 snapshot右键上下文菜单right-click目标 →snapshot --surface menu读取菜单 → 点选 →wait --menu-closed。 反模式提醒浮层已经很小了不要对 surface 再用--skeleton有 overlay 开着时也不要拍整窗ref 会淹没在无关节点里。新手照抄的完整观察工作流清单把上面五件武器串成日常流水线确认权限agent-desktop permissions被拒则permissions --request探测面list-surfaces看当前有哪些可拍的面定位目标已知角色/名称 →find未知 →--skeleton概览 --root钻取点查状态get读属性、is查布尔状态避免无谓整窗快照动作后重观察点完按钮、关完弹窗只重新钻取受影响区域--root其余 ref 继续有效等待异步 UI菜单、弹窗、文字加载用wait --menu/wait --window/wait --text别靠 sleep 碰运气。更多模式表单填写、滚动查找、多窗口协作等可查 workflows.md命令速查见 README.md 的 Commands 小节。延伸阅读观察命令完整参考commands-observation.md交互命令参考commands-interaction.mdsnapshot 参数定义源码src/cli_args/snapshot.rs核心命令实现crates/core/src/commands/赞分享GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载相关推荐ScyllaDB nodetool snapshot 快照命令完全指南原理、参数与备份实战ScyllaDB nodetool snapshot 快照命令完全指南原理、参数与备份实战 本文基于 ScyllaDB 官方文档《Nodetool snaps数据库分布式数据库后端大数据Tarko Agent Snapshot 快照测试全解析generate / replay 命令与确定性回归验证实战Tarko Agent Snapshot 快照测试全解析generate / replay 命令与确定性回归验证实战 本文档面向需要为 tarko/agen人工智能大模型AI Agent桌面应用GUI 自动化浏览器控制MCP 服务MCP ClientsLinux find 命令完全速查指南基于 Reference 项目 Find 备忘清单的实战手册Linux find 命令完全速查指南基于 Reference 项目 Find 备忘清单的实战手册 find 是 Linux/Unix 系统中功能最强大的文件文档教程知识库创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
