TID质量竞争大会分享议题丨正元智晟科技CEO：大模型时代，软件测试如何做到可证可信？

关注 霍格沃兹软件测试开发 公众号回复「资料」, 领取人工智能测试开发技术合集大模型正在重构软件研发流程。过去写需求、写代码、写测试用例、写自动化脚本都需要人一点点拆解、设计和实现。现在大模型几分钟就能生成一批测试点十几分钟就能写出自动化脚本甚至可以根据需求文档直接输出测试方案。看起来测试效率被大幅提升了。但很多团队真正落地之后会发现一个更棘手的问题大模型生成的测试内容看起来很完整但到底靠不靠谱它有没有漏掉关键边界它有没有覆盖异常路径它生成的测试结论能不能被复核如果业务出现问题我们能不能说清楚为什么当时认为这个版本是可以发布的这才是大模型时代软件测试真正的核心矛盾。不是“AI 能不能生成测试内容”而是“AI 生成的测试内容能不能被相信测试结论能不能自证”。在本届TID质量竞争大会上正元智晟科技 CEO 杨长春将带来主题分享《大模型时代软件测试如何做到可证可信》这场分享不只是讨论 AI 如何生成测试用例而是进一步回答一个更关键的问题当 AI 开始参与软件研发和质量保障我们如何证明测试过程可信、测试结论可信、质量决策可信一、为什么 TID质量竞争大会 要讨论“可证可信”TID质量竞争大会一直关注软件质量、工程效能、测试技术和企业级质量体系建设。过去几年测试行业的关键词更多是自动化测试测试平台持续集成DevOps质量左移精准测试智能化测试但到了大模型时代质量领域正在出现一个新的问题效率提升之后可信度怎么保证AI 可以帮我们生成需求分析、测试用例、自动化脚本和测试报告。但生成得快不等于生成得准。看起来完整不等于真的覆盖。语言表达专业不等于结论可信。这也是为什么在 TID质量竞争大会 这样关注质量竞争力和工程实践的场合“可证可信”会成为一个非常值得讨论的话题。因为企业真正需要的不只是“AI 帮我写了一堆测试内容”而是测试依据能不能追溯测试设计能不能解释测试覆盖能不能证明测试执行能不能留证测试结论能不能复核质量风险能不能被提前识别这背后其实是软件测试从“效率工具”走向“可信工程”的关键转折。二、大模型不是测试银弹它更像一个强大的“生成引擎”很多团队刚开始做 AI 测试时都会从一个很直接的场景切入输入需求文档让大模型生成测试用例。这个方向当然有价值。因为过去测试人员写用例确实需要大量时间做需求理解、场景拆解、边界分析和用例编写。大模型可以明显提升这部分效率。但问题也出在这里。如果我们把测试理解成“把需求改写成用例”那么大模型确实很强。但如果我们把测试理解成“发现风险、验证规则、支撑质量决策”那么纯大模型方案就远远不够。真正高质量的测试设计至少需要三类能力。第一类是全面解。也就是从业务流程、角色权限、数据状态、系统交互等多个维度尽可能完整地覆盖正常路径和核心场景。第二类是边界解。也就是识别输入边界、状态边界、权限边界、时间边界、容量边界和流程边界找到最容易出问题的位置。第三类是反向解。也就是不只是证明系统“能工作”还要验证系统在异常输入、非法操作、冲突状态、失败依赖、极端条件下是否仍然可控。而大模型天然更擅长的是生成“常规解”。它可以根据已有语义快速推断出一批高频、常见、合理的测试内容。但对于深层边界、复杂约束、跨系统状态、领域规则冲突大模型并不天然可靠。这就决定了一个现实AI 可以提升测试生产效率但不能单独承担可信测试的全部责任。三、大模型时代测试的核心矛盾变了过去测试团队最关注的问题往往是资源不够、时间不够、执行不够快。所以大家持续建设自动化测试、测试平台、持续集成、质量门禁本质上都是为了提高效率和覆盖率。但大模型进入研发流程之后矛盾开始变化了。因为“生成内容”这件事正在变得越来越容易。难的是生成之后怎么办。比如AI 生成的测试用例谁来判断是否完整AI 生成的测试脚本谁来判断是否可靠AI 总结的测试报告谁来判断是否真实AI 给出的质量结论谁来承担最终责任如果线上出问题能不能反推出当时测试为什么放行这也是杨长春在本次 TID质量竞争大会 分享中想要重点讨论的问题大模型时代测试不能只追求“自动生成”更要追求“可追溯、可解释、可复核”。否则AI 测试很容易从“提效工具”变成“风险放大器”。它可能让我们更快地产出大量测试内容但同时也可能让团队更难判断这些内容到底靠不靠谱。四、可信测试需要从“内容生成”走向“证据闭环”如果把大模型用于测试只停留在生成用例、生成脚本、生成报告价值仍然是有限的。真正面向企业级复杂系统的测试能力需要形成一个完整闭环这个闭环的关键不是让 AI “多生成一点内容”而是让每一个测试结论都有来源、有依据、有过程、有证据。也就是说测试不再只是输出一份报告而是要能回答这个结论基于哪些需求这些需求对应哪些业务规则规则被映射成了哪些测试模型模型生成了哪些用例用例是否被真实执行执行结果是否有证据留存失败、跳过、异常是否可以被复核当测试过程可以被追溯、被解释、被复核测试结论才真正具备可信基础。这也是“可证可信测试”和普通 AI 生成测试之间最大的区别。普通 AI 生成测试更关注“生成了什么”。可证可信测试更关注“为什么这样测、是否真的测过、结论是否站得住”。五、“大模型 知识图谱 模型驱动测试 神经符号验证”为什么重要在本次 TID质量竞争大会 的分享中杨长春将介绍一种更适合企业级复杂系统的融合路径大模型 知识图谱 模型驱动测试 神经符号验证。这套方法并不是简单地把所有问题都交给大模型而是让不同技术承担不同角色。大模型负责理解与生成。知识图谱负责沉淀业务实体、关系、规则和上下文。模型驱动测试负责把业务流程、状态变化和规则约束转化为可执行、可推导、可验证的测试设计。神经符号验证则进一步补足大模型在严谨性、约束推理和结论校验上的不足。可以简单理解为能力模块主要作用解决的问题大模型需求理解、内容生成、用例补全、报告辅助提升生产效率知识图谱业务实体、关系、规则、上下文沉淀避免只靠文本语义理解模型驱动测试流程建模、状态建模、路径生成系统性覆盖正常、异常、边界场景神经符号验证规则约束、逻辑校验、结论复核提升测试结论可信度人类专家风险判断、业务裁决、质量责任确认处理复杂决策与最终责任这套方法的价值在于它没有把所有问题都简单丢给大模型而是把不同技术放在更合适的位置上。大模型解决效率问题。知识图谱解决业务认知问题。模型驱动测试解决覆盖系统性问题。神经符号验证解决逻辑可信问题。人类专家解决复杂判断和责任边界问题。这比单纯喊“AI 自动生成测试用例”更接近企业真实落地。六、为什么复杂系统更需要“可证可信”在简单业务里AI 生成测试用例可能已经能解决不少效率问题。但在复杂业务系统里情况完全不同。比如通信系统往往涉及大量状态流转、协议约束、链路依赖和异常恢复。金融系统往往涉及账户、资金、风控、权限、审计和合规。能源系统往往涉及设备状态、调度逻辑、安全阈值和生产连续性。这些系统的共同特点是业务链路长规则约束多异常场景复杂数据状态变化频繁系统之间强依赖出错后的影响范围大在这类场景里测试不只是验证功能按钮能不能点通而是要验证整个系统在复杂规则下是否稳定、可靠、可控。如果测试依赖纯大模型生成很容易出现三个问题。第一覆盖不完整。大模型可能生成了常见场景却漏掉低频但高风险的边界条件。第二规则不严谨。业务规则之间可能存在隐含约束大模型不一定能稳定识别。第三结论不可追溯。当测试报告只是由 AI 总结出来但缺少模型、规则、执行证据支撑时很难经得起复核。所以越是复杂系统越不能只追求“生成得快”而是要追求“验证得准、过程可追、结论可信”。这也是 TID质量竞争大会 讨论这类议题的价值所在它不是停留在工具层面的“AI 测试用例生成”而是进一步回到企业级质量工程的底层问题。七、人的角色不会消失但会被重新定义大模型进入测试领域之后一个常见问题是测试人员会不会被 AI 替代如果只是做重复性的测试内容编写、简单脚本生成、基础报告整理这些工作确实会被快速自动化。但在可信测试体系里人的价值反而会更加突出。因为 AI 可以帮助生成内容但不能天然承担质量责任。人的角色会从“手工执行者”逐步转向业务风险识别者测试模型设计者规则体系建设者测试结论复核者质量可信体系负责人也就是说测试人员未来的核心竞争力不再只是“会不会写用例、会不会点系统、会不会写脚本”而是能不能把业务规则、风险模型、测试策略和工程工具组织起来形成一套可持续运行的质量保障体系。这也是测试能力向更广义复杂系统验证能力演进的重要方向。八、这场 TID质量竞争大会 分享适合哪些人听如果你正在关注 AI 测试、智能化测试平台、企业级质量工程、模型驱动测试、测试可信度建设这场分享非常值得关注。尤其适合以下几类人测试负责人、质量负责人、测试架构师测试开发工程师、自动化测试工程师正在建设 AI 测试平台的技术团队关注大模型落地质量风险的研发管理者从传统测试向 AI 测试、智能化测试转型的从业者通信、金融、能源、政企等复杂业务系统质量保障团队这场分享不是简单介绍一个 AI 工具也不是停留在“AI 生成用例”的浅层应用而是会进一步讨论AI 生成的测试内容如何可信测试过程如何留证测试结论如何复核复杂系统如何构建可追溯、可解释、可验证的质量闭环测试人员在 AI 时代如何重新定位自己的价值对于正在做质量平台、智能化测试、测试开发转型的团队来说这类议题会非常有启发。九、讲师介绍杨长春北京正元智晟科技有限公司 CEO。曾任 HPE慧与中国高级系统架构师长期从事企业级软件架构、低代码平台、自动化测试与工程效能平台建设拥有相关技术专利及社区分享经历。他曾担任多个大型项目负责人或首席架构师包括中国移动低代码开发平台总集首席架构师、HPE BBOSS 项目首席架构师等并在通信、金融、能源等行业积累了丰富的架构设计与项目实践经验。代表项目包括中信银行 IT 战略咨询等。当前杨长春重点关注大模型时代的软件质量可信问题长期研究测试能力如何从传统功能验证进一步走向复杂系统的可信验证。十、真正的 AI 测试不是让 AI 替你“写一堆用例”很多团队今天谈 AI 测试还停留在“输入需求生成用例”的阶段。这当然有价值但远远不够。因为测试的本质不是生产文档而是发现风险、验证规则、支撑决策。大模型可以让测试内容生产更快但如果没有规则、模型、证据和复核机制再漂亮的测试报告也可能只是“看起来很完整”。大模型时代软件测试真正要解决的问题是让测试结论经得起追问为什么这么测依据是什么有没有覆盖关键风险执行证据在哪里结论能不能被复核这才是“可证可信”背后的真正价值。当 AI 编码、AI 生成、AI 自动化越来越普及软件质量保障也必须从“经验驱动”走向“模型驱动”从“结果汇报”走向“证据闭环”从“测试执行”走向“可信验证”。这可能也是未来几年测试从业者最值得关注的一条主线。而这次 TID质量竞争大会 上关于“大模型时代软件测试如何做到可证可信”的分享正好把这个问题摆到了台前AI 可以让测试更快但真正决定质量竞争力的是测试结论能不能被证明可信。重磅福利购票即赠VIP课程为回馈广大参会者凡从霍格沃兹测试开发学社渠道购买TiD2026质量竞争力大会门票即可免费获得学社人工智能测试开发训练营VIP课程录播体系化学习AI测试开发、大模型评测、智能体测试等前沿内容让大会的每一分钟都持续增值