Maestro AI 断言实战指南自然语言写移动 UI 测试【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/Maestro上次跑全量回归光把登录和下单两条用例补全就耗了两天UI 改了一版还得返工。Maestro 这个开源移动 E2E 自动化框架的思路是把测试写成 YAML再用 AI 断言命令把看图判断界面这件事交给大模型。这篇文章带你把 Maestro 的 AI 能力从装好、跑通到调优走一遍看完你手上应该能落地一个带自然语言断言的真实登录流。它替谁省了什么时间用例编写靠背 API定位、等待、手势各平台写法不一 → Maestro 用 YAML 命令launchApp、tapOn、assertVisible把操作平铺成短句读起来就是测试步骤。界面一改版脚本就红写死元素文本和层级 → AI 断言基于截图和自然语言意图做判断对界面小改动的容忍度更高。Android 和 iOS 各维护一套同一份 flow 文件双端通跑平台差异由驱动层吸收。核心能力怎么用Maestro 本体是YAML 解释执行AI 是叠在上面的三条命令。下面按使用频率讲。 先说清楚 YAML flow 长什么样flow 就是一串命令头部声明 appId---之后每行一个动作写完直接跑不用编译appId: com.example.demo --- - launchApp - tapOn: 开始使用 - assertVisible: 功能菜单️ 自然语言断言 assertWithAIassertWithAI截屏发给模型由模型判断你写的那句话是否成立。下面这段是它和缺陷检测、extractTextWithAI一起的官方示例形态- launchApp: clearState: true - tapOn: 缺陷测试 - assertWithAI: assertion: 界面上显示了一张可爱的兔子图片 - assertNoDefectsWithAI效果断言写的是业务意图不是控件 id。命令的执行逻辑在 maestro-orchestra模型接入层在 maestro-ai。 视觉缺陷检测 assertNoDefectsWithAI和assertWithAI不同它不需要你写断言句而是让模型直接挑毛病布局错乱、元素重叠、文字被裁切都会让它失败。适合挂在改版回归的关键页面上当一道人眼巡检的自动化闸门。带标注的缺陷检测演示截图5 分钟跑通环境只需要 Java 17。四步走完这一步把仓库拉下来——git clone https://gitcode.com/GitHub_Trending/ma/maestro cd maestro这一步构建 AI demo 应用并配置密钥OpenAI 或 Anthropic 的 key 都能用——./gradlew :maestro-ai:installDist export MAESTRO_CLI_AI_KEY你的key这一步先验证 AI 链路本身直接对一张截图跑缺陷检测不依赖设备——./maestro-ai/build/install/maestro-ai-demo/bin/maestro-ai-demo --help maestro-ai-demo 某张截图.png这一步把 flow 文件和 CLI 串起来连上模拟器跑真实流程——maestro test flow.yaml --device 设备id到这里带 AI 断言的第一条用例就跑完了。Maestro 在设备上执行 E2E 流程真实场景怎么写 登录流意图描述。背景你不想维护密码框、登录按钮的定位只想验证登录成功进了首页。把意图写进断言就行元素识别和等待由框架兜底- tapOn: 登录 - inputText: demoexample.com - assertWithAI: assertion: 登录界面可见包含用户名和密码输入框预期密码框没出现时用例直接失败失败信息里会带上模型对截图的判读依据而不是干巴巴的元素未找到。️ 视觉缺陷回归。背景设计师改版后你只关心页面看起来有没有坏。进缺陷演示页挂一道assertNoDefectsWithAI- launchApp: clearState: true - tapOn: 缺陷测试 - assertNoDefectsWithAI: optional: true预期按钮互相压住、文字溢出都会被点名optional: true保证就算 AI 服务不可用主流程也不被卡死。多语言版本同理——断言用自然语言写换语种时优先改文案或按语言拆 flow比到处找控件 id 省事。往深里看Orchestra 怎么把 YAML 变成设备动作值得花两分钟理解的是执行链路YAML 先被解析成命令模型见 maestro-orchestra-models再由Orchestra逐条解释执行AI 类命令在这里调maestro-ai模块把截图和提示词发给模型。AI.kt里能看到默认 10 秒连接、60 秒请求超时密钥从MAESTRO_CLI_AI_KEY、模型从MAESTRO_CLI_AI_MODEL读取。换句话说AI 断言和tapOn走的是同一条命令管线——它不特殊只是动作换成了让模型看一张图并回答。这也是为什么 AI 命令可以像普通断言一样参与重试和超时逻辑。踩过的坑与调优断言措辞太模糊写页面正常这种话模型只能猜 → 断言写具体、可判定的事实比如显示兔子图片。AI 断言被应用闪退牵连进程没了截图都是黑的 → 对 AI 断言加optional: true让主流程先跑完。成本失控默认模型跑全量回归 token 开销可观 → 用MAESTRO_CLI_AI_MODEL指定轻量模型跑简单断言复杂判断再上大模型。想要结构化输出jsonSchema参数只有 OpenAI 通道支持 → 用 Anthropic 时就退回普通断言别在 YAML 里期待 JSON 约束。等待逻辑靠 sleep 堆AI 判断前后加固定 sleep 反而拖慢 → 交给框架的自动等待和重试别自己造同步。写在最后回到开头那个场景登录和下单两条用例现在你只需要把意图写进assertWithAI界面改版后多数情况模型能直接兜住维护量明显下来了。下一步很具体——挑你们线上最容易挂的那条登录流复制上面的 flow 模板先加一条assertWithAI跑通再在缺陷演示页挂assertNoDefectsWithAI用一次真实的回归数据验证它的误报率再决定要不要铺开。【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/Maestro创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Maestro AI 断言实战指南自然语言写移动 UI 测试【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/Maestro上次跑全量回归光把登录和下单两条用例补全就耗了两天UI 改了一版还得返工。Maestro 这个开源移动 E2E 自动化框架的思路是把测试写成 YAML再用 AI 断言命令把看图判断界面这件事交给大模型。这篇文章带你把 Maestro 的 AI 能力从装好、跑通到调优走一遍看完你手上应该能落地一个带自然语言断言的真实登录流。它替谁省了什么时间用例编写靠背 API定位、等待、手势各平台写法不一 → Maestro 用 YAML 命令launchApp、tapOn、assertVisible把操作平铺成短句读起来就是测试步骤。界面一改版脚本就红写死元素文本和层级 → AI 断言基于截图和自然语言意图做判断对界面小改动的容忍度更高。Android 和 iOS 各维护一套同一份 flow 文件双端通跑平台差异由驱动层吸收。核心能力怎么用Maestro 本体是YAML 解释执行AI 是叠在上面的三条命令。下面按使用频率讲。 先说清楚 YAML flow 长什么样flow 就是一串命令头部声明 appId---之后每行一个动作写完直接跑不用编译appId: com.example.demo --- - launchApp - tapOn: 开始使用 - assertVisible: 功能菜单️ 自然语言断言 assertWithAIassertWithAI截屏发给模型由模型判断你写的那句话是否成立。下面这段是它和缺陷检测、extractTextWithAI一起的官方示例形态- launchApp: clearState: true - tapOn: 缺陷测试 - assertWithAI: assertion: 界面上显示了一张可爱的兔子图片 - assertNoDefectsWithAI效果断言写的是业务意图不是控件 id。命令的执行逻辑在 maestro-orchestra模型接入层在 maestro-ai。 视觉缺陷检测 assertNoDefectsWithAI和assertWithAI不同它不需要你写断言句而是让模型直接挑毛病布局错乱、元素重叠、文字被裁切都会让它失败。适合挂在改版回归的关键页面上当一道人眼巡检的自动化闸门。带标注的缺陷检测演示截图5 分钟跑通环境只需要 Java 17。四步走完这一步把仓库拉下来——git clone https://gitcode.com/GitHub_Trending/ma/maestro cd maestro这一步构建 AI demo 应用并配置密钥OpenAI 或 Anthropic 的 key 都能用——./gradlew :maestro-ai:installDist export MAESTRO_CLI_AI_KEY你的key这一步先验证 AI 链路本身直接对一张截图跑缺陷检测不依赖设备——./maestro-ai/build/install/maestro-ai-demo/bin/maestro-ai-demo --help maestro-ai-demo 某张截图.png这一步把 flow 文件和 CLI 串起来连上模拟器跑真实流程——maestro test flow.yaml --device 设备id到这里带 AI 断言的第一条用例就跑完了。Maestro 在设备上执行 E2E 流程真实场景怎么写 登录流意图描述。背景你不想维护密码框、登录按钮的定位只想验证登录成功进了首页。把意图写进断言就行元素识别和等待由框架兜底- tapOn: 登录 - inputText: demoexample.com - assertWithAI: assertion: 登录界面可见包含用户名和密码输入框预期密码框没出现时用例直接失败失败信息里会带上模型对截图的判读依据而不是干巴巴的元素未找到。️ 视觉缺陷回归。背景设计师改版后你只关心页面看起来有没有坏。进缺陷演示页挂一道assertNoDefectsWithAI- launchApp: clearState: true - tapOn: 缺陷测试 - assertNoDefectsWithAI: optional: true预期按钮互相压住、文字溢出都会被点名optional: true保证就算 AI 服务不可用主流程也不被卡死。多语言版本同理——断言用自然语言写换语种时优先改文案或按语言拆 flow比到处找控件 id 省事。往深里看Orchestra 怎么把 YAML 变成设备动作值得花两分钟理解的是执行链路YAML 先被解析成命令模型见 maestro-orchestra-models再由Orchestra逐条解释执行AI 类命令在这里调maestro-ai模块把截图和提示词发给模型。AI.kt里能看到默认 10 秒连接、60 秒请求超时密钥从MAESTRO_CLI_AI_KEY、模型从MAESTRO_CLI_AI_MODEL读取。换句话说AI 断言和tapOn走的是同一条命令管线——它不特殊只是动作换成了让模型看一张图并回答。这也是为什么 AI 命令可以像普通断言一样参与重试和超时逻辑。踩过的坑与调优断言措辞太模糊写页面正常这种话模型只能猜 → 断言写具体、可判定的事实比如显示兔子图片。AI 断言被应用闪退牵连进程没了截图都是黑的 → 对 AI 断言加optional: true让主流程先跑完。成本失控默认模型跑全量回归 token 开销可观 → 用MAESTRO_CLI_AI_MODEL指定轻量模型跑简单断言复杂判断再上大模型。想要结构化输出jsonSchema参数只有 OpenAI 通道支持 → 用 Anthropic 时就退回普通断言别在 YAML 里期待 JSON 约束。等待逻辑靠 sleep 堆AI 判断前后加固定 sleep 反而拖慢 → 交给框架的自动等待和重试别自己造同步。写在最后回到开头那个场景登录和下单两条用例现在你只需要把意图写进assertWithAI界面改版后多数情况模型能直接兜住维护量明显下来了。下一步很具体——挑你们线上最容易挂的那条登录流复制上面的 flow 模板先加一条assertWithAI跑通再在缺陷演示页挂assertNoDefectsWithAI用一次真实的回归数据验证它的误报率再决定要不要铺开。【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/Maestro创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
