1. 回归测试这件事为什么突然被推到了风口浪尖做了十来年测试我敢说回归测试是每个测试人心里的一根刺。版本迭代越快这根刺扎得越深。你花三天写好的自动化脚本开发一个重构直接废掉一半你熬夜跑完的用例集第二天早上发现环境被人改了配置全红。更别提那些手工回归的兄弟一个发版窗口期几百条用例点下来眼睛都花了结果漏了一条关键路径线上事故一出来锅还是测试背。最近圈子里讨论得很凶的一个话题就是AI 到底能不能把回归测试这摊活接过去。标题里说的“AI 10 分钟干完你一天活”我第一反应是夸张但仔细拆开看它背后指向的东西并不虚——AI 辅助的测试用例生成、智能用例筛选、失败归因分析、自愈式脚本修复这几块拼在一起确实能把回归测试里最耗人力的部分压缩掉一大截。这篇文章我想聊的不是“AI 会不会取代测试”而是一个一线测试从业者怎么把 AI 真正塞进回归测试的流程里让它干活而不是让它表演。我会把整体思路、核心环节、实操步骤、踩过的坑全部摊开讲适合已经有一定测试基础、正在被回归测试压得喘不过气的同学也适合刚入行想搞清楚“AI 测试开发”到底在做什么的新人。看完你至少能明白哪些环节可以交给 AI哪些环节必须人来兜底以及怎么落地一套能跑起来的方案。2. 回归测试的痛点拆解与 AI 切入的底层逻辑2.1 回归测试到底在消耗什么先把问题说透。回归测试的本质是验证新改动没有破坏旧功能听起来简单但它的成本结构非常畸形。一个中等规模的项目功能用例动辄上千条每次发版全量跑一遍人力成本和时间成本都扛不住。于是大家做用例分级、做自动化、做精准测试但落到实操层面问题依然一堆用例维护成本高UI 一改定位器全废接口一改断言全挂。自动化脚本的维护时间经常超过它节省的时间。用例筛选靠拍脑袋哪些用例跟这次改动相关大部分团队靠经验判断或者干脆全量跑宁可错杀一千。失败分析耗时跑完 500 条用例红了 80 条其中 60 条是环境问题、10 条是脚本问题、真正是 bug 的可能只有 10 条。但你要把这 80 条一条条看完半天没了。环境不稳定测试环境被开发随手改配置、数据库被污染、依赖服务挂掉这些都会让回归结果不可信。这四块里真正需要人脑判断的其实只有最后一环——确认是不是真 bug。前面三块恰恰是 AI 最擅长啃的硬骨头。2.2 AI 在回归测试里的四个真实切入点我不喜欢把 AI 说得神乎其神落到回归测试这个具体场景它能干的事其实很明确就四件第一用例生成与补全。基于需求文档、接口定义、历史缺陷记录AI 可以生成候选测试用例尤其是边界值、异常路径这些人工容易漏的地方。它不能替代人设计用例但能帮你把用例池子快速撑大然后你来筛。第二变更影响分析与用例筛选。这是我认为价值最大的一块。通过分析代码提交的 diff、接口变更、依赖关系图AI 可以推断出哪些模块受影响从而精准圈定需要回归的用例范围。这比拍脑袋靠谱得多也比全量跑省得多。第三失败归因与分类。用例跑挂了AI 可以结合日志、堆栈、历史失败模式自动判断这是环境问题、脚本问题还是真实缺陷并给出置信度。这一步能直接把你的排查时间砍掉一半以上。第四脚本自愈。UI 定位器失效、接口字段微调AI 可以基于页面结构变化或接口 schema 变化自动推荐新的定位方式或断言减少脚本维护的体力活。这四块拼起来就是标题里说的“10 分钟干完一天活”的底层逻辑——不是 AI 替你跑得快而是它把筛选、归因、修复这三个最耗时的环节自动化了你只需要做最终的判断和确认。2.3 为什么现在才火起来早几年也有基于规则的用例筛选、基于机器学习的失败分类但效果一般。核心原因是大模型的出现让语义理解能力上了一个台阶。以前你让机器判断“这次代码改动影响了哪些用例”它只能靠关键词匹配和调用链分析稍微复杂一点就抓瞎。现在你把 diff、用例描述、历史缺陷一起丢给大模型它能给出相当靠谱的关联判断甚至能解释为什么关联。另一个原因是工具链成熟了。以前你要自己搭一套 AI 测试平台光数据管道和模型部署就够折腾半年。现在很多能力可以直接通过 API 调用或者集成到现有的 CI/CD 流程里落地门槛低了很多。但我要泼一盆冷水AI 不是银弹它输出的东西必须有人兜底。我见过太多团队兴冲冲接了个 AI 用例生成结果生成一堆废话用例反而增加了筛选成本。所以接下来的内容我会重点讲怎么把 AI 用对地方而不是用得多。3. 核心环节拆解从用例筛选到失败归因的完整链路3.1 变更影响分析怎么让 AI 圈出该跑的用例这是整个流程的起点也是最容易做砸的一步。我的做法是分三层来做第一层代码级 diff 分析。把本次提交的代码变更文件路径、函数名、修改类型提取出来丢给 AI让它判断涉及哪些业务模块。这里的关键是给 AI 足够的上下文不能只给 diff还要给它项目的模块划分说明、关键类的作用注释。否则它只能瞎猜。第二层接口与依赖分析。如果项目有接口文档Swagger/OpenAPI把变更涉及的接口和它的上下游依赖一起给 AI让它推断影响范围。比如订单接口改了那支付回调、库存扣减这些关联链路都可能受影响。第三层历史缺陷关联。把历史上跟这些模块相关的缺陷记录拉出来让 AI 判断本次改动是否可能触发类似问题。这一步能捞到很多人工容易忽略的回归点。三层做完AI 会输出一个候选用例列表带置信度排序。我的经验是取置信度前 60% 的用例作为必跑集中间 30% 作为抽跑集最后 10% 人工确认。这样既不会漏也不会全量跑。注意变更影响分析的准确率高度依赖项目上下文的质量。如果你们的代码注释稀烂、模块划分混乱AI 的输出也会很烂。这一步的功夫其实在平时。3.2 用例生成AI 补全边界与异常路径人工设计用例有个通病正常路径写得很全异常路径和边界值经常漏。AI 在这方面反而有优势因为它不会“想当然”。我的实操流程是这样的把需求描述、接口定义、字段约束整理成结构化输入然后给 AI 一个明确的提示词模板要求它按等价类划分、边界值分析、异常场景三个维度生成用例。提示词里必须包含字段的类型、取值范围、是否必填、业务规则否则生成的东西没法用。举个例子一个“用户年龄”字段类型是整数范围 18-120。AI 生成的用例会覆盖17、18、19、119、120、121、0、-1、空值、非数字、超大数。人工写的时候很容易只写 18 和 120 两个边界中间和异常就漏了。但这里有个坑AI 生成的用例数量会爆炸。一个字段给你生成 20 条十个字段就是 200 条根本跑不完。所以我的做法是让 AI 生成后再用一轮筛选只保留高风险、高覆盖的用例其余的归档备查。3.3 失败归因把 80 条红灯砍到 10 条这是我觉得 AI 最值钱的地方。以前跑完回归红一片你得一条条看日志。现在可以把失败用例的错误信息、堆栈、截图、历史失败记录一起丢给 AI让它分类。我用的分类维度是四类环境问题、脚本问题、数据问题、真实缺陷。AI 会给每条失败打上标签和置信度。实测下来环境问题和脚本问题的识别准确率能到 85% 以上真实缺陷的识别稍微低一点大概 70%但这已经足够帮你把排查范围缩小一大半。具体操作上我会把失败用例按 AI 的分类分组环境问题直接重跑脚本问题进修复队列数据问题检查数据准备逻辑真实缺陷才进入人工确认环节。这样一轮下来原本要半天的排查工作压缩到一两个小时。提示失败归因的准确率跟历史数据的积累强相关。刚开始用的时候AI 判断不准很正常你需要把人工确认的结果反馈回去让它慢慢学。我们跑了大概两个月准确率才稳定下来。3.4 脚本自愈让自动化脚本多活几个版本UI 自动化的痛做过的都懂。页面改个布局定位器全废。AI 自愈的思路是当定位器失效时不让脚本直接报错而是让 AI 基于页面 DOM 结构、元素属性、文本内容推荐新的定位方式。我的做法是在脚本里加一层“定位器兜底”逻辑主定位器失败后触发 AI 分析当前页面结构返回候选定位器列表脚本按优先级尝试。如果 AI 推荐的定位器能成功定位到元素就自动更新脚本里的定位器并记录变更日志。接口自动化类似字段名变了、结构变了AI 可以基于 schema 对比推荐新的断言方式。这块的收益在长期短期看不出什么但跑上几个月脚本维护时间能省掉一大半。4. 实操落地一套能跑起来的 AI 回归测试流程4.1 环境与工具准备先说清楚这套方案不依赖某个特定平台核心是大模型 API 现有测试框架 一点胶水代码。我用的是 Python 技术栈测试框架是 pytest requests接口和 PlaywrightUIAI 能力通过大模型 API 调用。需要准备的东西一个大模型 API支持长文本输入能处理代码和日志测试用例管理工具我用的是 TestRail也可以用 Excel 或飞书表格CI/CD 平台Jenkins 或 GitLab CI代码仓库的 diff 获取能力git 命令即可接口文档Swagger/OpenAPI 优先如果你们团队还没有自动化测试基础我建议先把接口自动化跑起来再考虑接 AI。UI 自动化的维护成本太高没有稳定基础就上 AI只会更乱。4.2 变更影响分析的代码实现这一步的核心是把 git diff 和项目上下文组装成 AI 能理解的输入。我写了一个脚本每次 CI 触发时自动执行import subprocess import requests def get_diff(base_branchmain): result subprocess.run( [git, diff, f{base_branch}...HEAD, --unified3], capture_outputTrue, textTrue ) return result.stdout def get_module_context(): # 从项目配置文件读取模块划分说明 with open(project_modules.md, r) as f: return f.read() def analyze_impact(diff, context): prompt f 以下是本次代码变更的 diff {diff} 以下是项目的模块划分说明 {context} 请分析本次变更影响哪些业务模块并列出需要重点回归的功能点。 输出格式模块名 | 影响程度高/中/低 | 理由 response requests.post( https://api.example.com/v1/chat/completions, json{model: gpt-4, messages: [{role: user, content: prompt}]} ) return response.json()[choices][0][message][content]这段代码的关键在于project_modules.md的质量。我维护了一份模块说明文档每个模块负责什么业务、关键类有哪些、上下游依赖是什么写得越清楚AI 判断越准。4.3 用例筛选与执行的完整流程拿到 AI 的影响分析结果后下一步是把影响模块映射到具体用例。我的做法是在用例管理工具里给每条用例打上模块标签然后根据 AI 输出的模块影响程度筛选出必跑集和抽跑集。具体流程CI 触发获取 diff调用 AI 分析影响模块根据模块标签筛选用例生成必跑集执行必跑集收集结果失败用例调用 AI 归因按归因结果分组处理真实缺陷进入人工确认其余自动处理这套流程跑下来一个中等规模项目的回归时间从原来的 4-6 小时压缩到 1 小时以内其中 AI 分析部分大概 2-3 分钟用例执行 20-30 分钟归因分析 5 分钟剩下的是人工确认时间。4.4 失败归因的提示词设计与调优失败归因的效果七分靠提示词三分靠模型。我调了很多版最后稳定下来的模板是这样的你是一个资深测试工程师请对以下失败用例进行分类。 用例名称{case_name} 错误信息{error_message} 堆栈信息{stack_trace} 历史失败记录{history} 请判断失败原因属于以下哪一类 1. 环境问题服务未启动、网络不通、配置错误 2. 脚本问题定位器失效、断言错误、代码 bug 3. 数据问题测试数据缺失、数据被污染、数据依赖未满足 4. 真实缺陷功能逻辑错误、接口返回异常 输出格式 分类xxx 置信度xx% 理由xxx 建议处理方式xxx这个模板的关键是给出明确的分类维度和输出格式否则 AI 会给你一堆模棱两可的分析。另外历史失败记录很重要如果某个用例历史上经常因为环境问题失败AI 会参考这个信息。4.5 脚本自愈的实现思路脚本自愈我做得比较轻量没有搞太复杂。核心逻辑是主定位器失败时触发 AI 分析页面结构返回候选定位器。def find_element_with_ai(page, original_selector, element_desc): try: return page.locator(original_selector) except Exception: # 主定位器失败调用 AI 推荐新定位器 page_html page.content() prompt f 页面 HTML 片段{page_html[:5000]} 原定位器{original_selector} 元素描述{element_desc} 请推荐 3 个候选定位器按优先级排序。 candidates call_ai(prompt) for selector in candidates: try: return page.locator(selector) except Exception: continue raise Exception(所有候选定位器均失败)这块的坑在于页面 HTML 可能非常大直接丢给 AI 会超 token 限制。我的做法是先做一轮 DOM 裁剪只保留跟目标元素相关的子树再丢给 AI。5. 常见问题与排查技巧实录5.1 AI 判断不准怎么办这是最常见的问题。我的经验是先别怪 AI先检查输入质量。大部分判断不准的情况都是因为给 AI 的上下文不够或者太乱。比如变更影响分析如果你只给 diff 不给模块说明AI 只能靠文件名猜当然不准。排查顺序检查输入是否完整diff、上下文、历史数据检查提示词是否明确分类维度、输出格式检查模型是否适合有些模型擅长代码有些擅长文本积累反馈数据持续调优5.2 用例生成数量爆炸怎么控制AI 生成用例很容易失控一个需求给你生成几百条。我的做法是分两轮第一轮让 AI 自由生成第二轮让 AI 按风险等级和覆盖度筛选只保留高价值的。另外在提示词里明确限制数量比如“每个字段最多生成 5 条用例”。5.3 环境不稳定导致归因错误环境问题是回归测试的老大难。AI 归因虽然能识别环境问题但如果环境本身频繁抖动归因结果也不可信。我的建议是先把环境稳定性搞定再上 AI。环境不稳什么工具都白搭。5.4 团队不接受怎么办这是管理问题不是技术问题。我的做法是先小范围试点拿数据说话。选一个回归压力最大的模块跑一个月对比 AI 介入前后的回归时间、漏测率、人力投入。数据摆出来比什么说服都管用。5.5 常见问题速查表问题现象可能原因排查方向解决建议AI 影响分析漏模块上下文不足检查模块说明文档补充模块依赖关系用例生成质量差提示词模糊检查输入结构化程度明确字段约束和输出格式归因准确率低历史数据少检查反馈积累持续反馈人工确认结果脚本自愈失败DOM 太大检查页面结构先裁剪 DOM 再调用 AI整体流程慢API 调用频繁检查调用次数合并请求加缓存实操心得AI 回归测试这套东西前期投入大后期收益高。前两个月基本是在调提示词、攒数据、修流程看不到明显效果。但一旦跑顺了回归测试的人力能省掉 60% 以上。关键是别指望一上来就完美把它当成一个需要持续调优的系统来养。6. 我对 AI 回归测试的真实看法说实话标题里“10 分钟干完一天活”有夸张成分但它指向的方向是对的。回归测试里那些重复的、机械的、靠经验判断的环节确实正在被 AI 一点点吃掉。但吃掉不等于替代测试工程师的价值会往上游走——更多地放在用例设计、风险评估、质量策略这些 AI 暂时搞不定的地方。我自己的体会是AI 用得好不好取决于你给它喂的上下文好不好。项目文档写得清楚、用例标签打得规范、历史数据积累得够多AI 就能干活。反之你给它一堆垃圾它只能还你一堆垃圾。所以与其焦虑 AI 会不会取代测试不如先把手里这些基础工作做扎实。最后分享一个我踩过的坑别一上来就全流程 AI 化。我最早想一步到位结果流程太复杂到处出问题团队怨声载道。后来拆成三步走——先做失败归因再做用例筛选最后做脚本自愈——每一步跑稳了再加下一步反而顺利得多。这个顺序你也可以参考归因最容易见效筛选收益最大自愈最费功夫。
1. 回归测试这件事为什么突然被推到了风口浪尖做了十来年测试我敢说回归测试是每个测试人心里的一根刺。版本迭代越快这根刺扎得越深。你花三天写好的自动化脚本开发一个重构直接废掉一半你熬夜跑完的用例集第二天早上发现环境被人改了配置全红。更别提那些手工回归的兄弟一个发版窗口期几百条用例点下来眼睛都花了结果漏了一条关键路径线上事故一出来锅还是测试背。最近圈子里讨论得很凶的一个话题就是AI 到底能不能把回归测试这摊活接过去。标题里说的“AI 10 分钟干完你一天活”我第一反应是夸张但仔细拆开看它背后指向的东西并不虚——AI 辅助的测试用例生成、智能用例筛选、失败归因分析、自愈式脚本修复这几块拼在一起确实能把回归测试里最耗人力的部分压缩掉一大截。这篇文章我想聊的不是“AI 会不会取代测试”而是一个一线测试从业者怎么把 AI 真正塞进回归测试的流程里让它干活而不是让它表演。我会把整体思路、核心环节、实操步骤、踩过的坑全部摊开讲适合已经有一定测试基础、正在被回归测试压得喘不过气的同学也适合刚入行想搞清楚“AI 测试开发”到底在做什么的新人。看完你至少能明白哪些环节可以交给 AI哪些环节必须人来兜底以及怎么落地一套能跑起来的方案。2. 回归测试的痛点拆解与 AI 切入的底层逻辑2.1 回归测试到底在消耗什么先把问题说透。回归测试的本质是验证新改动没有破坏旧功能听起来简单但它的成本结构非常畸形。一个中等规模的项目功能用例动辄上千条每次发版全量跑一遍人力成本和时间成本都扛不住。于是大家做用例分级、做自动化、做精准测试但落到实操层面问题依然一堆用例维护成本高UI 一改定位器全废接口一改断言全挂。自动化脚本的维护时间经常超过它节省的时间。用例筛选靠拍脑袋哪些用例跟这次改动相关大部分团队靠经验判断或者干脆全量跑宁可错杀一千。失败分析耗时跑完 500 条用例红了 80 条其中 60 条是环境问题、10 条是脚本问题、真正是 bug 的可能只有 10 条。但你要把这 80 条一条条看完半天没了。环境不稳定测试环境被开发随手改配置、数据库被污染、依赖服务挂掉这些都会让回归结果不可信。这四块里真正需要人脑判断的其实只有最后一环——确认是不是真 bug。前面三块恰恰是 AI 最擅长啃的硬骨头。2.2 AI 在回归测试里的四个真实切入点我不喜欢把 AI 说得神乎其神落到回归测试这个具体场景它能干的事其实很明确就四件第一用例生成与补全。基于需求文档、接口定义、历史缺陷记录AI 可以生成候选测试用例尤其是边界值、异常路径这些人工容易漏的地方。它不能替代人设计用例但能帮你把用例池子快速撑大然后你来筛。第二变更影响分析与用例筛选。这是我认为价值最大的一块。通过分析代码提交的 diff、接口变更、依赖关系图AI 可以推断出哪些模块受影响从而精准圈定需要回归的用例范围。这比拍脑袋靠谱得多也比全量跑省得多。第三失败归因与分类。用例跑挂了AI 可以结合日志、堆栈、历史失败模式自动判断这是环境问题、脚本问题还是真实缺陷并给出置信度。这一步能直接把你的排查时间砍掉一半以上。第四脚本自愈。UI 定位器失效、接口字段微调AI 可以基于页面结构变化或接口 schema 变化自动推荐新的定位方式或断言减少脚本维护的体力活。这四块拼起来就是标题里说的“10 分钟干完一天活”的底层逻辑——不是 AI 替你跑得快而是它把筛选、归因、修复这三个最耗时的环节自动化了你只需要做最终的判断和确认。2.3 为什么现在才火起来早几年也有基于规则的用例筛选、基于机器学习的失败分类但效果一般。核心原因是大模型的出现让语义理解能力上了一个台阶。以前你让机器判断“这次代码改动影响了哪些用例”它只能靠关键词匹配和调用链分析稍微复杂一点就抓瞎。现在你把 diff、用例描述、历史缺陷一起丢给大模型它能给出相当靠谱的关联判断甚至能解释为什么关联。另一个原因是工具链成熟了。以前你要自己搭一套 AI 测试平台光数据管道和模型部署就够折腾半年。现在很多能力可以直接通过 API 调用或者集成到现有的 CI/CD 流程里落地门槛低了很多。但我要泼一盆冷水AI 不是银弹它输出的东西必须有人兜底。我见过太多团队兴冲冲接了个 AI 用例生成结果生成一堆废话用例反而增加了筛选成本。所以接下来的内容我会重点讲怎么把 AI 用对地方而不是用得多。3. 核心环节拆解从用例筛选到失败归因的完整链路3.1 变更影响分析怎么让 AI 圈出该跑的用例这是整个流程的起点也是最容易做砸的一步。我的做法是分三层来做第一层代码级 diff 分析。把本次提交的代码变更文件路径、函数名、修改类型提取出来丢给 AI让它判断涉及哪些业务模块。这里的关键是给 AI 足够的上下文不能只给 diff还要给它项目的模块划分说明、关键类的作用注释。否则它只能瞎猜。第二层接口与依赖分析。如果项目有接口文档Swagger/OpenAPI把变更涉及的接口和它的上下游依赖一起给 AI让它推断影响范围。比如订单接口改了那支付回调、库存扣减这些关联链路都可能受影响。第三层历史缺陷关联。把历史上跟这些模块相关的缺陷记录拉出来让 AI 判断本次改动是否可能触发类似问题。这一步能捞到很多人工容易忽略的回归点。三层做完AI 会输出一个候选用例列表带置信度排序。我的经验是取置信度前 60% 的用例作为必跑集中间 30% 作为抽跑集最后 10% 人工确认。这样既不会漏也不会全量跑。注意变更影响分析的准确率高度依赖项目上下文的质量。如果你们的代码注释稀烂、模块划分混乱AI 的输出也会很烂。这一步的功夫其实在平时。3.2 用例生成AI 补全边界与异常路径人工设计用例有个通病正常路径写得很全异常路径和边界值经常漏。AI 在这方面反而有优势因为它不会“想当然”。我的实操流程是这样的把需求描述、接口定义、字段约束整理成结构化输入然后给 AI 一个明确的提示词模板要求它按等价类划分、边界值分析、异常场景三个维度生成用例。提示词里必须包含字段的类型、取值范围、是否必填、业务规则否则生成的东西没法用。举个例子一个“用户年龄”字段类型是整数范围 18-120。AI 生成的用例会覆盖17、18、19、119、120、121、0、-1、空值、非数字、超大数。人工写的时候很容易只写 18 和 120 两个边界中间和异常就漏了。但这里有个坑AI 生成的用例数量会爆炸。一个字段给你生成 20 条十个字段就是 200 条根本跑不完。所以我的做法是让 AI 生成后再用一轮筛选只保留高风险、高覆盖的用例其余的归档备查。3.3 失败归因把 80 条红灯砍到 10 条这是我觉得 AI 最值钱的地方。以前跑完回归红一片你得一条条看日志。现在可以把失败用例的错误信息、堆栈、截图、历史失败记录一起丢给 AI让它分类。我用的分类维度是四类环境问题、脚本问题、数据问题、真实缺陷。AI 会给每条失败打上标签和置信度。实测下来环境问题和脚本问题的识别准确率能到 85% 以上真实缺陷的识别稍微低一点大概 70%但这已经足够帮你把排查范围缩小一大半。具体操作上我会把失败用例按 AI 的分类分组环境问题直接重跑脚本问题进修复队列数据问题检查数据准备逻辑真实缺陷才进入人工确认环节。这样一轮下来原本要半天的排查工作压缩到一两个小时。提示失败归因的准确率跟历史数据的积累强相关。刚开始用的时候AI 判断不准很正常你需要把人工确认的结果反馈回去让它慢慢学。我们跑了大概两个月准确率才稳定下来。3.4 脚本自愈让自动化脚本多活几个版本UI 自动化的痛做过的都懂。页面改个布局定位器全废。AI 自愈的思路是当定位器失效时不让脚本直接报错而是让 AI 基于页面 DOM 结构、元素属性、文本内容推荐新的定位方式。我的做法是在脚本里加一层“定位器兜底”逻辑主定位器失败后触发 AI 分析当前页面结构返回候选定位器列表脚本按优先级尝试。如果 AI 推荐的定位器能成功定位到元素就自动更新脚本里的定位器并记录变更日志。接口自动化类似字段名变了、结构变了AI 可以基于 schema 对比推荐新的断言方式。这块的收益在长期短期看不出什么但跑上几个月脚本维护时间能省掉一大半。4. 实操落地一套能跑起来的 AI 回归测试流程4.1 环境与工具准备先说清楚这套方案不依赖某个特定平台核心是大模型 API 现有测试框架 一点胶水代码。我用的是 Python 技术栈测试框架是 pytest requests接口和 PlaywrightUIAI 能力通过大模型 API 调用。需要准备的东西一个大模型 API支持长文本输入能处理代码和日志测试用例管理工具我用的是 TestRail也可以用 Excel 或飞书表格CI/CD 平台Jenkins 或 GitLab CI代码仓库的 diff 获取能力git 命令即可接口文档Swagger/OpenAPI 优先如果你们团队还没有自动化测试基础我建议先把接口自动化跑起来再考虑接 AI。UI 自动化的维护成本太高没有稳定基础就上 AI只会更乱。4.2 变更影响分析的代码实现这一步的核心是把 git diff 和项目上下文组装成 AI 能理解的输入。我写了一个脚本每次 CI 触发时自动执行import subprocess import requests def get_diff(base_branchmain): result subprocess.run( [git, diff, f{base_branch}...HEAD, --unified3], capture_outputTrue, textTrue ) return result.stdout def get_module_context(): # 从项目配置文件读取模块划分说明 with open(project_modules.md, r) as f: return f.read() def analyze_impact(diff, context): prompt f 以下是本次代码变更的 diff {diff} 以下是项目的模块划分说明 {context} 请分析本次变更影响哪些业务模块并列出需要重点回归的功能点。 输出格式模块名 | 影响程度高/中/低 | 理由 response requests.post( https://api.example.com/v1/chat/completions, json{model: gpt-4, messages: [{role: user, content: prompt}]} ) return response.json()[choices][0][message][content]这段代码的关键在于project_modules.md的质量。我维护了一份模块说明文档每个模块负责什么业务、关键类有哪些、上下游依赖是什么写得越清楚AI 判断越准。4.3 用例筛选与执行的完整流程拿到 AI 的影响分析结果后下一步是把影响模块映射到具体用例。我的做法是在用例管理工具里给每条用例打上模块标签然后根据 AI 输出的模块影响程度筛选出必跑集和抽跑集。具体流程CI 触发获取 diff调用 AI 分析影响模块根据模块标签筛选用例生成必跑集执行必跑集收集结果失败用例调用 AI 归因按归因结果分组处理真实缺陷进入人工确认其余自动处理这套流程跑下来一个中等规模项目的回归时间从原来的 4-6 小时压缩到 1 小时以内其中 AI 分析部分大概 2-3 分钟用例执行 20-30 分钟归因分析 5 分钟剩下的是人工确认时间。4.4 失败归因的提示词设计与调优失败归因的效果七分靠提示词三分靠模型。我调了很多版最后稳定下来的模板是这样的你是一个资深测试工程师请对以下失败用例进行分类。 用例名称{case_name} 错误信息{error_message} 堆栈信息{stack_trace} 历史失败记录{history} 请判断失败原因属于以下哪一类 1. 环境问题服务未启动、网络不通、配置错误 2. 脚本问题定位器失效、断言错误、代码 bug 3. 数据问题测试数据缺失、数据被污染、数据依赖未满足 4. 真实缺陷功能逻辑错误、接口返回异常 输出格式 分类xxx 置信度xx% 理由xxx 建议处理方式xxx这个模板的关键是给出明确的分类维度和输出格式否则 AI 会给你一堆模棱两可的分析。另外历史失败记录很重要如果某个用例历史上经常因为环境问题失败AI 会参考这个信息。4.5 脚本自愈的实现思路脚本自愈我做得比较轻量没有搞太复杂。核心逻辑是主定位器失败时触发 AI 分析页面结构返回候选定位器。def find_element_with_ai(page, original_selector, element_desc): try: return page.locator(original_selector) except Exception: # 主定位器失败调用 AI 推荐新定位器 page_html page.content() prompt f 页面 HTML 片段{page_html[:5000]} 原定位器{original_selector} 元素描述{element_desc} 请推荐 3 个候选定位器按优先级排序。 candidates call_ai(prompt) for selector in candidates: try: return page.locator(selector) except Exception: continue raise Exception(所有候选定位器均失败)这块的坑在于页面 HTML 可能非常大直接丢给 AI 会超 token 限制。我的做法是先做一轮 DOM 裁剪只保留跟目标元素相关的子树再丢给 AI。5. 常见问题与排查技巧实录5.1 AI 判断不准怎么办这是最常见的问题。我的经验是先别怪 AI先检查输入质量。大部分判断不准的情况都是因为给 AI 的上下文不够或者太乱。比如变更影响分析如果你只给 diff 不给模块说明AI 只能靠文件名猜当然不准。排查顺序检查输入是否完整diff、上下文、历史数据检查提示词是否明确分类维度、输出格式检查模型是否适合有些模型擅长代码有些擅长文本积累反馈数据持续调优5.2 用例生成数量爆炸怎么控制AI 生成用例很容易失控一个需求给你生成几百条。我的做法是分两轮第一轮让 AI 自由生成第二轮让 AI 按风险等级和覆盖度筛选只保留高价值的。另外在提示词里明确限制数量比如“每个字段最多生成 5 条用例”。5.3 环境不稳定导致归因错误环境问题是回归测试的老大难。AI 归因虽然能识别环境问题但如果环境本身频繁抖动归因结果也不可信。我的建议是先把环境稳定性搞定再上 AI。环境不稳什么工具都白搭。5.4 团队不接受怎么办这是管理问题不是技术问题。我的做法是先小范围试点拿数据说话。选一个回归压力最大的模块跑一个月对比 AI 介入前后的回归时间、漏测率、人力投入。数据摆出来比什么说服都管用。5.5 常见问题速查表问题现象可能原因排查方向解决建议AI 影响分析漏模块上下文不足检查模块说明文档补充模块依赖关系用例生成质量差提示词模糊检查输入结构化程度明确字段约束和输出格式归因准确率低历史数据少检查反馈积累持续反馈人工确认结果脚本自愈失败DOM 太大检查页面结构先裁剪 DOM 再调用 AI整体流程慢API 调用频繁检查调用次数合并请求加缓存实操心得AI 回归测试这套东西前期投入大后期收益高。前两个月基本是在调提示词、攒数据、修流程看不到明显效果。但一旦跑顺了回归测试的人力能省掉 60% 以上。关键是别指望一上来就完美把它当成一个需要持续调优的系统来养。6. 我对 AI 回归测试的真实看法说实话标题里“10 分钟干完一天活”有夸张成分但它指向的方向是对的。回归测试里那些重复的、机械的、靠经验判断的环节确实正在被 AI 一点点吃掉。但吃掉不等于替代测试工程师的价值会往上游走——更多地放在用例设计、风险评估、质量策略这些 AI 暂时搞不定的地方。我自己的体会是AI 用得好不好取决于你给它喂的上下文好不好。项目文档写得清楚、用例标签打得规范、历史数据积累得够多AI 就能干活。反之你给它一堆垃圾它只能还你一堆垃圾。所以与其焦虑 AI 会不会取代测试不如先把手里这些基础工作做扎实。最后分享一个我踩过的坑别一上来就全流程 AI 化。我最早想一步到位结果流程太复杂到处出问题团队怨声载道。后来拆成三步走——先做失败归因再做用例筛选最后做脚本自愈——每一步跑稳了再加下一步反而顺利得多。这个顺序你也可以参考归因最容易见效筛选收益最大自愈最费功夫。
