1. 项目概述当性能测试遇上UI自动化在软件质量保障的日常工作中性能测试和UI自动化测试常常是两个独立的“山头”。性能测试团队扛着ApacheBench、JMeter这些工具对着接口狂轰滥炸盯着响应时间和吞吐量而UI自动化团队则用Selenium、Playwright等框架模拟用户点击、输入验证页面功能。但有没有想过如果把这两者结合起来会产生什么样的化学反应这就是我们今天要深入探讨的主题如何将ApacheBench的性能压测能力与UI自动化测试的流程模拟能力进行创造性的结合。乍一听这似乎有点“关公战秦琼”——一个专注HTTP接口的简单压测工具一个模拟浏览器行为的复杂框架怎么结合核心思路在于利用UI自动化测试来生成真实、复杂的用户操作序列并从中提取出关键的HTTP请求然后将这些请求“喂”给ApacheBench进行高并发、高强度的性能压测。这样做的好处是显而易见的你压测的不再是孤立的、手工构造的简单接口而是真实用户操作背后触发的、带有完整上下文如Cookie、Session、特定请求头的请求链。这能更真实地模拟生产环境的流量发现那些在单一接口压测下难以暴露的、与业务流程相关的性能瓶颈例如订单提交链路的并发锁问题、购物车结算的资源争用等。2. 核心思路与架构设计2.1 为什么是ApacheBench UI自动化首先我们得明确两个工具的角色定位。ApacheBenchab是Apache服务器自带的一个轻量级性能测试工具它的优势在于极其简单、直接可以快速对单个URL发起大量并发请求并给出基本的性能数据如每秒请求数、请求时间分布。但它功能单一不支持脚本化复杂场景也不处理JavaScript或维护会话状态。UI自动化测试框架如Selenium WebDriver、Cypress、Playwright则恰恰相反。它们能完整地驱动浏览器执行点击、输入、滚动等操作完美模拟真实用户行为并且天然地维护了会话Cookie、LocalStorage。然而它们通常不适合做高并发性能测试因为每个浏览器实例资源消耗巨大难以规模化。结合点就在于“录制与回放”的变体。我们不是用UI自动化去做并发压测而是让它扮演“流量录制器”和“场景定义者”的角色。2.2 结合方案的整体架构一个典型的结合方案架构可以分为三个阶段录制阶段使用UI自动化测试脚本以单用户、单线程的方式完整地执行一遍关键业务场景如用户登录、浏览商品、加入购物车、填写订单、支付。在此过程中我们需要对脚本进行改造使其能够拦截并记录下所有发送至服务器的HTTP/HTTPS请求包括URL、方法、请求头、请求体、Cookies等信息。这些数据需要被结构化地保存下来如JSON文件。转换与增强阶段将录制下来的原始请求数据进行分析和转换。由于UI操作可能产生大量静态资源请求如图片、CSS、JS我们需要过滤掉这些对后端压力影响不大的请求聚焦于动态API接口。同时需要分析请求间的依赖关系例如第二个请求可能需要用到第一个请求返回的某个Token。这个阶段可能需要编写脚本进行处理。压测执行阶段编写一个驱动脚本通常用Python、Shell等。这个脚本会读取处理后的请求数据然后循环调用ApacheBenchab命令对每一个关键接口进行压测。更高级的做法是模拟请求间的时序和依赖组织成一个个“事务”Transaction然后并发执行多个这样的事务流以模拟多用户同时操作。注意这里存在一个关键限制。原生的ab工具只能对单个URL进行压测且请求内容较难定制。因此在结合方案中我们往往不是直接使用ab发录制下来的复杂请求而是用ab来压测我们从UI流程中识别出的、独立的、高价值的核心接口。对于需要串联的复杂场景可以配合其他工具如siege、自定义脚本或直接使用ab的-p参数提交POST数据但灵活性仍不如专业的JMeter或Locust。本方案更侧重于利用ab的轻便和快速对UI流程挖掘出的接口进行快速验证和压力摸底。2.3 工具选型与替代方案UI自动化框架选择Playwright或Puppeteer是更优的选择。因为它们提供了强大的网络请求拦截APIpage.route()request.postData()等能更精细地捕获和修改请求。Selenium虽然普及但原生对网络请求的监听支持较弱通常需要依赖浏览器开发者工具协议CDP或代理服务器设置更复杂。性能测试工具选择核心是ApacheBench (ab)用于快速压力测试。对于需要更复杂场景编排如思考时间、条件逻辑、精确吞吐量控制的压测可以考虑JMeter或Locust。JMeter功能全面但较重Locust基于Python脚本灵活性极高非常适合与本方案结合作为ab的升级替代。胶水脚本语言Python是首选。它有丰富的库支持Requests用于HTTP操作JSON用于数据处理可以方便地串联Playwright/Puppeteer它们也提供Python API和ApacheBench通过subprocess模块调用。3. 实操步骤详解从录制到压测下面我将以一个经典的电商“登录-加购”场景为例拆解每一步操作。我们选择 Playwright Python ApacheBench 这个技术栈。3.1 第一阶段使用Playwright录制用户操作与网络请求首先我们需要编写一个Playwright脚本它不仅要完成UI操作还要把所有非静态资源的网络请求保存下来。# record_ui_flow.py import asyncio from playwright.async_api import async_playwright import json async def main(): all_requests [] # 用于存储请求信息 async with async_playwright() as p: # 启动浏览器建议使用无头模式提高效率 browser await p.chromium.launch(headlessTrue) context await browser.new_context() page await context.new_page() # 监听所有网络请求 def on_request(request): url request.url # 过滤掉图片、样式表、字体、脚本等静态资源 if request.resource_type in [image, stylesheet, font, script]: return # 只关注可能对服务器造成压力的XHR/Fetch请求或文档请求 if request.resource_type in [xhr, fetch, document]: req_data { url: url, method: request.method, headers: request.headers, post_data: request.post_data, # 对于POST请求很重要 resource_type: request.resource_type } all_requests.append(req_data) print(fCaptured: {request.method} {url}) page.on(request, on_request) # 开始执行UI操作流程 print(开始录制...) await page.goto(https://your-ecommerce-site.com/login) await page.fill(#username, test_user) await page.fill(#password, your_password) await page.click(button[typesubmit]) # 等待登录成功例如导航到首页或出现用户菜单 await page.wait_for_selector(.user-avatar, timeout10000) await page.goto(https://your-ecommerce-site.com/product/123) await page.click(#add-to-cart-button) # 等待加购成功的反馈 await page.wait_for_selector(.cart-notification, timeout5000) print(UI流程执行完毕。) # 保存录制到的请求数据 with open(recorded_requests.json, w) as f: json.dump(all_requests, f, indent2, ensure_asciiFalse) print(f共录制到 {len(all_requests)} 个有效请求已保存至 recorded_requests.json) await browser.close() asyncio.run(main())实操心得headlessTrue在录制时非常有用它不打开GUI速度更快适合在服务器或CI环境中运行。request.resource_type过滤是关键一步能大幅减少无关请求的干扰让我们聚焦于核心的API调用。await page.wait_for_selector()是保证步骤稳定性的关键确保页面元素加载完成后再进行下一步避免因网络延迟导致录制失败。3.2 第二阶段请求数据分析与转换运行上面的脚本后你会得到一个recorded_requests.json文件。接下来我们需要分析这个文件。# analyze_requests.py import json with open(recorded_requests.json, r) as f: requests json.load(f) print(分析录制到的请求) api_endpoints {} for req in requests: url req[url] method req[method] # 简单地按URL和Method聚合统计出现次数初步判断核心接口 key f{method} {url} api_endpoints[key] api_endpoints.get(key, 0) 1 print(\n高频接口可能是核心压力点) for endpoint, count in sorted(api_endpoints.items(), keylambda x: x[1], reverseTrue)[:5]: print(f {endpoint} - 出现 {count} 次) # 假设我们识别出登录接口和加购接口是核心 # 登录接口POST https://your-ecommerce-site.com/api/login # 加购接口POST https://your-ecommerce-site.com/api/cart/add分析后我们可能识别出两个核心接口登录 (/api/login) 和添加购物车 (/api/cart/add)。我们需要从录制的数据中提取出这两个请求的详细信息特别是请求头如Content-Type, User-Agent和请求体如用户名密码、商品ID。我们需要编写一个提取脚本为每个核心接口生成一个可供ab或自定义压测脚本使用的模板。# extract_core_requests.py import json with open(recorded_requests.json, r) as f: requests json.load(f) core_requests [] target_urls [/api/login, /api/cart/add] # 我们关注的核心接口路径 for req in requests: for target in target_urls: if target in req[url]: core_req { url: req[url], method: req[method], headers: {k: v for k, v in req[headers].items() if k.lower() not in [host, content-length]}, # 过滤掉ab会自动处理的头 post_data: req.get(post_data) # 可能是JSON字符串或表单数据 } core_requests.append(core_req) break # 找到一个匹配就跳出内层循环 with open(core_requests_for_test.json, w) as f: json.dump(core_requests, f, indent2, ensure_asciiFalse) print(f已提取 {len(core_requests)} 个核心请求到 core_requests_for_test.json)3.3 第三阶段使用ApacheBench进行针对性压测现在我们有了核心请求的数据。由于ab本身对复杂POST请求和自定义Header的支持需要一些技巧我们编写一个Python脚本来驱动ab进行压测。首先针对登录接口假设是JSON格式# run_ab_test.py import subprocess import json import time def run_ab_test(name, url, method, headers, post_data_fileNone, total_requests1000, concurrency50): 构造并执行ab命令 cmd [ab] cmd.append(f-n {total_requests}) # 总请求数 cmd.append(f-c {concurrency}) # 并发数 cmd.append(-l) # 忽略响应长度变化 # 添加请求头 for key, value in headers.items(): cmd.append(f-H {key}: {value}) # 如果是POST请求指定方法和数据文件 if method.upper() POST: cmd.append(f-p {post_data_file}) cmd.append(-T application/json) # 设置Content-Type如果数据文件里没指定的话 cmd.append(url) # 目标URL print(f\n{*50}) print(f开始压测: {name}) print(f命令: { .join(cmd)}) print(f{*50}) # 执行命令 try: result subprocess.run( .join(cmd), shellTrue, capture_outputTrue, textTrue, checkTrue) print(result.stdout) # 可以将结果重定向到文件 with open(fab_result_{name}_{int(time.time())}.txt, w) as f: f.write(result.stdout) except subprocess.CalledProcessError as e: print(fab命令执行出错: {e}) print(e.stderr) # 从文件中加载核心请求配置 with open(core_requests_for_test.json, r) as f: core_reqs json.load(f) # 为每个请求创建对应的POST数据文件如果需要并执行压测 for i, req in enumerate(core_reqs): test_name fapi_{i} post_file None if req[method] POST and req.get(post_data): # 将POST数据写入临时文件 post_file fpost_data_{i}.txt with open(post_file, w) as pf: # post_data 可能是字符串化的JSON pf.write(req[post_data]) # 运行压测 run_ab_test( nametest_name, urlreq[url], methodreq[method], headersreq[headers], post_data_filepost_file, total_requests2000, # 可根据需要调整 concurrency100 )关键参数解析-n 2000: 总请求数为2000。这个数字需要根据你的目标来定太少可能无法让服务器充分预热或暴露问题太多则耗时过长。一般建议至少几千起步。-c 100: 并发数为100。模拟100个用户同时请求。这是压力大小的关键参数。设置时需谨慎可以从10、50、100逐步增加观察系统表现。-l: 忽略响应体长度变化。因为我们的接口响应长度可能不完全一致加上此参数让ab不因此报错。-H: 添加请求头。这里我们传入了从UI录制中捕获的真实Headers如Authorization: Bearer xxx这对于需要鉴权的接口压测至关重要。-p: 指定包含POST数据的文件。这是压测带Body请求的关键。-T: 设置Content-Type请求头。如果-p指定的数据文件没有包含此头或者需要覆盖就在这里指定。重要提示直接使用录制到的请求数据进行压测特别是包含真实会话Token时务必在测试环境进行并且确保测试环境的用户会话机制与录制时一致。切勿在生产环境使用真实用户Token进行压测。4. 方案进阶处理动态参数与事务上面的方案处理了静态请求的压测。但真实场景中很多参数是动态的比如登录后的session_id加购时需要前一个请求返回的product_variant_id。这就需要更高级的“参数化”和“事务”支持。4.1 使用Locust实现参数化与复杂场景压测当场景变得复杂时ab就显得力不从心了。我们可以用Locust来替代ab它能以Python代码的方式定义用户行为天然支持参数化和逻辑控制。# locustfile.py from locust import HttpUser, task, between import json class QuickstartUser(HttpUser): wait_time between(1, 3) # 模拟用户思考时间 def on_start(self): 每个虚拟用户开始时的操作比如登录 login_payload {username: test_user, password: secure_pass} # 使用从UI录制中捕获的准确登录接口URL和头信息 headers {Content-Type: application/json, User-Agent: Mozilla/5.0...} with self.client.post(/api/login, jsonlogin_payload, headersheaders, catch_responseTrue) as response: if response.status_code 200: resp_json response.json() self.token resp_json.get(token) # 提取动态token response.success() else: response.failure(Login failed) task(3) # 权重为3执行频率更高 def add_to_cart(self): 添加商品到购物车 if hasattr(self, token): cart_payload {product_id: 123, quantity: 1} headers { Content-Type: application/json, Authorization: fBearer {self.token}, # 使用动态token User-Agent: Mozilla/5.0... } with self.client.post(/api/cart/add, jsoncart_payload, headersheaders, catch_responseTrue) as response: if response.status_code 200: response.success() else: response.failure(fAdd to cart failed: {response.text}) else: print(User not logged in, skipping add_to_cart) task(1) def view_product(self): 浏览商品页面可以是静态页面或API self.client.get(/product/123, headers{User-Agent: Mozilla/5.0...})在这个Locust脚本中我们实现了动态参数传递on_start方法中的登录操作成功后将返回的token保存在用户实例属性中。请求关联后续的add_to_cart任务使用这个token来构造鉴权头实现了请求间的状态关联。思考时间wait_time模拟了用户操作间的停顿使流量更真实。任务权重task(3)表示add_to_cart任务被执行的频率是view_product(task(1))的3倍。你可以通过locust -f locustfile.py启动Web UI然后设置并发用户数和每秒启动速率进行远比ab复杂的场景压测。4.2 从Playwright录制到Locust脚本的自动化转换理想情况下我们可以将Playwright录制的结果通过一个转换脚本半自动或全自动地生成类似上面的Locust脚本。这个转换脚本需要解析录制的请求序列。识别出登录等“设置状态”的请求将其转换为Locust的on_start方法。识别出依赖前期状态如Cookie、Token的请求自动提取依赖关系并生成参数传递代码。将其他请求转换为Locust的task方法。估算或允许用户配置各任务间的等待时间和执行权重。这需要较复杂的脚本开发但一旦实现就能形成“UI录制 - 场景化压测脚本”的自动化流水线极大提升效率。5. 常见问题、排查技巧与结果分析5.1 实施过程中的常见坑点请求依赖与状态管理这是最大的挑战。UI操作产生的请求往往有严格顺序和状态依赖登录态、CSRF Token、订单号。解决方案是像上面Locust示例那样通过编程方式管理状态变量传递或者使用能自动处理Cookie jar的工具如JMeter。动态数据商品ID、地址ID等每次可能不同。需要在录制后将这部分数据参数化从一个数据池如CSV文件中读取或在压测时动态生成符合规则的假数据。验证码与复杂交互如果UI流程中有验证码、滑块等反自动化机制录制和压测都会失败。在测试环境通常需要关闭或设置万能验证码。这是性能测试环境管理的范畴。资源消耗与规模化即使使用无头浏览器Playwright录制也会消耗相当内存。在长时间录制或复杂流程时注意监控资源。对于大规模压测生成流量的一方即运行ab或Locust的机器本身也可能成为瓶颈需要考虑分布式压测。数据污染压测会产生大量测试数据如测试订单。必须有配套的数据清理机制或者在测试数据库中使用隔离的测试数据前缀方便事后清理。5.2 ApacheBench结果解读与性能问题定位运行ab后你会看到类似下面的输出摘要Server Software: nginx/1.18.0 Server Hostname: your-ecommerce-site.com Server Port: 443 SSL/TLS Protocol: TLSv1.2,ECDHE-RSA-AES256-GCM-SHA384,2048,256 Document Path: /api/login Document Length: 152 bytes Concurrency Level: 100 Time taken for tests: 22.647 seconds Complete requests: 2000 Failed requests: 0 Total transferred: 654000 bytes HTML transferred: 304000 bytes Requests per second: 88.31 [#/sec] (mean) Time per request: 1132.236 [ms] (mean) Time per request: 11.322 [ms] (mean, across all concurrent requests) Transfer rate: 28.20 [Kbytes/sec] received Connection Times (ms) min mean[/-sd] median max Connect: 25 29 2.1 29 45 Processing: 200 1101 285.7 1089 2234 Waiting: 200 1100 285.7 1088 2234 Total: 230 1130 285.8 1118 2259 Percentage of the requests served within a certain time (ms) 50% 1118 66% 1234 75% 1301 80% 1345 90% 1490 95% 1600 98% 1750 99% 1850 100% 2259 (longest request)关键指标解读与问题线索Requests per second (RPS):88.31。这是吞吐量越高越好。如果这个值远低于预期可能是服务器处理能力不足或存在瓶颈。Time per request (mean):1132.236 ms。这是服务器平均处理一个请求的时间包括网络传输。这个值偏高。Failed requests:0。必须为0非零表示有请求失败需要查看具体原因超时、5xx错误等。Connection Times - Processing: 平均1101 ms标准差285.7 ms。这表示服务器自身的处理时间很长且波动大。这是需要重点关注的性能问题信号。Percentage table (百分比分布表): 这是黄金指标。它告诉你响应时间的分布情况。50%(中位数):1118 ms一半的请求在这个时间内完成。90%:1490 ms90%的请求在1.5秒内完成。99%:1850 ms最慢的1%请求也控制在1.85秒内。分析中位数和90分位值差距较大~372ms说明有部分请求明显慢于平均水平。结合Processing时间的高标准差说明服务器处理不稳定。可能的原因有数据库查询效率低下、某些请求触发了慢逻辑、服务器资源CPU/内存争用、或存在外部服务调用延迟。排查方向服务器监控压测时监控服务器的CPU、内存、磁盘I/O、网络带宽使用率。如果任何一项接近饱和那就是瓶颈。应用日志查看应用日志寻找错误、警告或慢查询记录。重点关注处理时间超过1秒的请求日志。数据库监控如果涉及数据库检查慢查询日志。高并发下的锁竞争、缺失索引的查询是常见性能杀手。外部依赖检查应用是否调用了其他API或服务。这些外部服务的性能会直接影响你的接口。逐步加压不要一开始就上高并发。从-c 10开始逐步增加到-c 50,-c 100观察各项指标的变化曲线。如果响应时间随着并发数线性增长说明应用无法有效处理并发可能存在全局锁或资源竞争问题。5.3 结合UI自动化结果的性能分析优势传统的单一接口压测你可能只知道/api/login慢。但结合了UI自动化流程后你的分析维度更丰富了场景化瓶颈定位你发现“登录后首次加购”这个场景整体慢而单独压登录和加购接口却很快。问题可能出在会话初始化、缓存加载或前后请求的上下文依赖上。资源加载影响UI流程揭示了页面加载需要调用A、B、C三个接口。压测发现A接口很慢导致整个页面卡顿。你可以优先优化A接口。更真实的基准你得到了一个基于真实用户操作的“事务响应时间”。例如“从点击登录到进入首页”这个事务在100并发下90%的用户体验是2秒。这个指标比单纯的接口响应时间更有业务价值。这种结合方式让性能测试从“验证基础设施能力”部分转向了“保障用户体验流畅度”其价值和精准度都得到了显著提升。它要求测试人员不仅懂工具还要懂业务、懂系统架构从而能更有效地发现和定位影响用户真实感受的性能瓶颈。
1. 项目概述当性能测试遇上UI自动化在软件质量保障的日常工作中性能测试和UI自动化测试常常是两个独立的“山头”。性能测试团队扛着ApacheBench、JMeter这些工具对着接口狂轰滥炸盯着响应时间和吞吐量而UI自动化团队则用Selenium、Playwright等框架模拟用户点击、输入验证页面功能。但有没有想过如果把这两者结合起来会产生什么样的化学反应这就是我们今天要深入探讨的主题如何将ApacheBench的性能压测能力与UI自动化测试的流程模拟能力进行创造性的结合。乍一听这似乎有点“关公战秦琼”——一个专注HTTP接口的简单压测工具一个模拟浏览器行为的复杂框架怎么结合核心思路在于利用UI自动化测试来生成真实、复杂的用户操作序列并从中提取出关键的HTTP请求然后将这些请求“喂”给ApacheBench进行高并发、高强度的性能压测。这样做的好处是显而易见的你压测的不再是孤立的、手工构造的简单接口而是真实用户操作背后触发的、带有完整上下文如Cookie、Session、特定请求头的请求链。这能更真实地模拟生产环境的流量发现那些在单一接口压测下难以暴露的、与业务流程相关的性能瓶颈例如订单提交链路的并发锁问题、购物车结算的资源争用等。2. 核心思路与架构设计2.1 为什么是ApacheBench UI自动化首先我们得明确两个工具的角色定位。ApacheBenchab是Apache服务器自带的一个轻量级性能测试工具它的优势在于极其简单、直接可以快速对单个URL发起大量并发请求并给出基本的性能数据如每秒请求数、请求时间分布。但它功能单一不支持脚本化复杂场景也不处理JavaScript或维护会话状态。UI自动化测试框架如Selenium WebDriver、Cypress、Playwright则恰恰相反。它们能完整地驱动浏览器执行点击、输入、滚动等操作完美模拟真实用户行为并且天然地维护了会话Cookie、LocalStorage。然而它们通常不适合做高并发性能测试因为每个浏览器实例资源消耗巨大难以规模化。结合点就在于“录制与回放”的变体。我们不是用UI自动化去做并发压测而是让它扮演“流量录制器”和“场景定义者”的角色。2.2 结合方案的整体架构一个典型的结合方案架构可以分为三个阶段录制阶段使用UI自动化测试脚本以单用户、单线程的方式完整地执行一遍关键业务场景如用户登录、浏览商品、加入购物车、填写订单、支付。在此过程中我们需要对脚本进行改造使其能够拦截并记录下所有发送至服务器的HTTP/HTTPS请求包括URL、方法、请求头、请求体、Cookies等信息。这些数据需要被结构化地保存下来如JSON文件。转换与增强阶段将录制下来的原始请求数据进行分析和转换。由于UI操作可能产生大量静态资源请求如图片、CSS、JS我们需要过滤掉这些对后端压力影响不大的请求聚焦于动态API接口。同时需要分析请求间的依赖关系例如第二个请求可能需要用到第一个请求返回的某个Token。这个阶段可能需要编写脚本进行处理。压测执行阶段编写一个驱动脚本通常用Python、Shell等。这个脚本会读取处理后的请求数据然后循环调用ApacheBenchab命令对每一个关键接口进行压测。更高级的做法是模拟请求间的时序和依赖组织成一个个“事务”Transaction然后并发执行多个这样的事务流以模拟多用户同时操作。注意这里存在一个关键限制。原生的ab工具只能对单个URL进行压测且请求内容较难定制。因此在结合方案中我们往往不是直接使用ab发录制下来的复杂请求而是用ab来压测我们从UI流程中识别出的、独立的、高价值的核心接口。对于需要串联的复杂场景可以配合其他工具如siege、自定义脚本或直接使用ab的-p参数提交POST数据但灵活性仍不如专业的JMeter或Locust。本方案更侧重于利用ab的轻便和快速对UI流程挖掘出的接口进行快速验证和压力摸底。2.3 工具选型与替代方案UI自动化框架选择Playwright或Puppeteer是更优的选择。因为它们提供了强大的网络请求拦截APIpage.route()request.postData()等能更精细地捕获和修改请求。Selenium虽然普及但原生对网络请求的监听支持较弱通常需要依赖浏览器开发者工具协议CDP或代理服务器设置更复杂。性能测试工具选择核心是ApacheBench (ab)用于快速压力测试。对于需要更复杂场景编排如思考时间、条件逻辑、精确吞吐量控制的压测可以考虑JMeter或Locust。JMeter功能全面但较重Locust基于Python脚本灵活性极高非常适合与本方案结合作为ab的升级替代。胶水脚本语言Python是首选。它有丰富的库支持Requests用于HTTP操作JSON用于数据处理可以方便地串联Playwright/Puppeteer它们也提供Python API和ApacheBench通过subprocess模块调用。3. 实操步骤详解从录制到压测下面我将以一个经典的电商“登录-加购”场景为例拆解每一步操作。我们选择 Playwright Python ApacheBench 这个技术栈。3.1 第一阶段使用Playwright录制用户操作与网络请求首先我们需要编写一个Playwright脚本它不仅要完成UI操作还要把所有非静态资源的网络请求保存下来。# record_ui_flow.py import asyncio from playwright.async_api import async_playwright import json async def main(): all_requests [] # 用于存储请求信息 async with async_playwright() as p: # 启动浏览器建议使用无头模式提高效率 browser await p.chromium.launch(headlessTrue) context await browser.new_context() page await context.new_page() # 监听所有网络请求 def on_request(request): url request.url # 过滤掉图片、样式表、字体、脚本等静态资源 if request.resource_type in [image, stylesheet, font, script]: return # 只关注可能对服务器造成压力的XHR/Fetch请求或文档请求 if request.resource_type in [xhr, fetch, document]: req_data { url: url, method: request.method, headers: request.headers, post_data: request.post_data, # 对于POST请求很重要 resource_type: request.resource_type } all_requests.append(req_data) print(fCaptured: {request.method} {url}) page.on(request, on_request) # 开始执行UI操作流程 print(开始录制...) await page.goto(https://your-ecommerce-site.com/login) await page.fill(#username, test_user) await page.fill(#password, your_password) await page.click(button[typesubmit]) # 等待登录成功例如导航到首页或出现用户菜单 await page.wait_for_selector(.user-avatar, timeout10000) await page.goto(https://your-ecommerce-site.com/product/123) await page.click(#add-to-cart-button) # 等待加购成功的反馈 await page.wait_for_selector(.cart-notification, timeout5000) print(UI流程执行完毕。) # 保存录制到的请求数据 with open(recorded_requests.json, w) as f: json.dump(all_requests, f, indent2, ensure_asciiFalse) print(f共录制到 {len(all_requests)} 个有效请求已保存至 recorded_requests.json) await browser.close() asyncio.run(main())实操心得headlessTrue在录制时非常有用它不打开GUI速度更快适合在服务器或CI环境中运行。request.resource_type过滤是关键一步能大幅减少无关请求的干扰让我们聚焦于核心的API调用。await page.wait_for_selector()是保证步骤稳定性的关键确保页面元素加载完成后再进行下一步避免因网络延迟导致录制失败。3.2 第二阶段请求数据分析与转换运行上面的脚本后你会得到一个recorded_requests.json文件。接下来我们需要分析这个文件。# analyze_requests.py import json with open(recorded_requests.json, r) as f: requests json.load(f) print(分析录制到的请求) api_endpoints {} for req in requests: url req[url] method req[method] # 简单地按URL和Method聚合统计出现次数初步判断核心接口 key f{method} {url} api_endpoints[key] api_endpoints.get(key, 0) 1 print(\n高频接口可能是核心压力点) for endpoint, count in sorted(api_endpoints.items(), keylambda x: x[1], reverseTrue)[:5]: print(f {endpoint} - 出现 {count} 次) # 假设我们识别出登录接口和加购接口是核心 # 登录接口POST https://your-ecommerce-site.com/api/login # 加购接口POST https://your-ecommerce-site.com/api/cart/add分析后我们可能识别出两个核心接口登录 (/api/login) 和添加购物车 (/api/cart/add)。我们需要从录制的数据中提取出这两个请求的详细信息特别是请求头如Content-Type, User-Agent和请求体如用户名密码、商品ID。我们需要编写一个提取脚本为每个核心接口生成一个可供ab或自定义压测脚本使用的模板。# extract_core_requests.py import json with open(recorded_requests.json, r) as f: requests json.load(f) core_requests [] target_urls [/api/login, /api/cart/add] # 我们关注的核心接口路径 for req in requests: for target in target_urls: if target in req[url]: core_req { url: req[url], method: req[method], headers: {k: v for k, v in req[headers].items() if k.lower() not in [host, content-length]}, # 过滤掉ab会自动处理的头 post_data: req.get(post_data) # 可能是JSON字符串或表单数据 } core_requests.append(core_req) break # 找到一个匹配就跳出内层循环 with open(core_requests_for_test.json, w) as f: json.dump(core_requests, f, indent2, ensure_asciiFalse) print(f已提取 {len(core_requests)} 个核心请求到 core_requests_for_test.json)3.3 第三阶段使用ApacheBench进行针对性压测现在我们有了核心请求的数据。由于ab本身对复杂POST请求和自定义Header的支持需要一些技巧我们编写一个Python脚本来驱动ab进行压测。首先针对登录接口假设是JSON格式# run_ab_test.py import subprocess import json import time def run_ab_test(name, url, method, headers, post_data_fileNone, total_requests1000, concurrency50): 构造并执行ab命令 cmd [ab] cmd.append(f-n {total_requests}) # 总请求数 cmd.append(f-c {concurrency}) # 并发数 cmd.append(-l) # 忽略响应长度变化 # 添加请求头 for key, value in headers.items(): cmd.append(f-H {key}: {value}) # 如果是POST请求指定方法和数据文件 if method.upper() POST: cmd.append(f-p {post_data_file}) cmd.append(-T application/json) # 设置Content-Type如果数据文件里没指定的话 cmd.append(url) # 目标URL print(f\n{*50}) print(f开始压测: {name}) print(f命令: { .join(cmd)}) print(f{*50}) # 执行命令 try: result subprocess.run( .join(cmd), shellTrue, capture_outputTrue, textTrue, checkTrue) print(result.stdout) # 可以将结果重定向到文件 with open(fab_result_{name}_{int(time.time())}.txt, w) as f: f.write(result.stdout) except subprocess.CalledProcessError as e: print(fab命令执行出错: {e}) print(e.stderr) # 从文件中加载核心请求配置 with open(core_requests_for_test.json, r) as f: core_reqs json.load(f) # 为每个请求创建对应的POST数据文件如果需要并执行压测 for i, req in enumerate(core_reqs): test_name fapi_{i} post_file None if req[method] POST and req.get(post_data): # 将POST数据写入临时文件 post_file fpost_data_{i}.txt with open(post_file, w) as pf: # post_data 可能是字符串化的JSON pf.write(req[post_data]) # 运行压测 run_ab_test( nametest_name, urlreq[url], methodreq[method], headersreq[headers], post_data_filepost_file, total_requests2000, # 可根据需要调整 concurrency100 )关键参数解析-n 2000: 总请求数为2000。这个数字需要根据你的目标来定太少可能无法让服务器充分预热或暴露问题太多则耗时过长。一般建议至少几千起步。-c 100: 并发数为100。模拟100个用户同时请求。这是压力大小的关键参数。设置时需谨慎可以从10、50、100逐步增加观察系统表现。-l: 忽略响应体长度变化。因为我们的接口响应长度可能不完全一致加上此参数让ab不因此报错。-H: 添加请求头。这里我们传入了从UI录制中捕获的真实Headers如Authorization: Bearer xxx这对于需要鉴权的接口压测至关重要。-p: 指定包含POST数据的文件。这是压测带Body请求的关键。-T: 设置Content-Type请求头。如果-p指定的数据文件没有包含此头或者需要覆盖就在这里指定。重要提示直接使用录制到的请求数据进行压测特别是包含真实会话Token时务必在测试环境进行并且确保测试环境的用户会话机制与录制时一致。切勿在生产环境使用真实用户Token进行压测。4. 方案进阶处理动态参数与事务上面的方案处理了静态请求的压测。但真实场景中很多参数是动态的比如登录后的session_id加购时需要前一个请求返回的product_variant_id。这就需要更高级的“参数化”和“事务”支持。4.1 使用Locust实现参数化与复杂场景压测当场景变得复杂时ab就显得力不从心了。我们可以用Locust来替代ab它能以Python代码的方式定义用户行为天然支持参数化和逻辑控制。# locustfile.py from locust import HttpUser, task, between import json class QuickstartUser(HttpUser): wait_time between(1, 3) # 模拟用户思考时间 def on_start(self): 每个虚拟用户开始时的操作比如登录 login_payload {username: test_user, password: secure_pass} # 使用从UI录制中捕获的准确登录接口URL和头信息 headers {Content-Type: application/json, User-Agent: Mozilla/5.0...} with self.client.post(/api/login, jsonlogin_payload, headersheaders, catch_responseTrue) as response: if response.status_code 200: resp_json response.json() self.token resp_json.get(token) # 提取动态token response.success() else: response.failure(Login failed) task(3) # 权重为3执行频率更高 def add_to_cart(self): 添加商品到购物车 if hasattr(self, token): cart_payload {product_id: 123, quantity: 1} headers { Content-Type: application/json, Authorization: fBearer {self.token}, # 使用动态token User-Agent: Mozilla/5.0... } with self.client.post(/api/cart/add, jsoncart_payload, headersheaders, catch_responseTrue) as response: if response.status_code 200: response.success() else: response.failure(fAdd to cart failed: {response.text}) else: print(User not logged in, skipping add_to_cart) task(1) def view_product(self): 浏览商品页面可以是静态页面或API self.client.get(/product/123, headers{User-Agent: Mozilla/5.0...})在这个Locust脚本中我们实现了动态参数传递on_start方法中的登录操作成功后将返回的token保存在用户实例属性中。请求关联后续的add_to_cart任务使用这个token来构造鉴权头实现了请求间的状态关联。思考时间wait_time模拟了用户操作间的停顿使流量更真实。任务权重task(3)表示add_to_cart任务被执行的频率是view_product(task(1))的3倍。你可以通过locust -f locustfile.py启动Web UI然后设置并发用户数和每秒启动速率进行远比ab复杂的场景压测。4.2 从Playwright录制到Locust脚本的自动化转换理想情况下我们可以将Playwright录制的结果通过一个转换脚本半自动或全自动地生成类似上面的Locust脚本。这个转换脚本需要解析录制的请求序列。识别出登录等“设置状态”的请求将其转换为Locust的on_start方法。识别出依赖前期状态如Cookie、Token的请求自动提取依赖关系并生成参数传递代码。将其他请求转换为Locust的task方法。估算或允许用户配置各任务间的等待时间和执行权重。这需要较复杂的脚本开发但一旦实现就能形成“UI录制 - 场景化压测脚本”的自动化流水线极大提升效率。5. 常见问题、排查技巧与结果分析5.1 实施过程中的常见坑点请求依赖与状态管理这是最大的挑战。UI操作产生的请求往往有严格顺序和状态依赖登录态、CSRF Token、订单号。解决方案是像上面Locust示例那样通过编程方式管理状态变量传递或者使用能自动处理Cookie jar的工具如JMeter。动态数据商品ID、地址ID等每次可能不同。需要在录制后将这部分数据参数化从一个数据池如CSV文件中读取或在压测时动态生成符合规则的假数据。验证码与复杂交互如果UI流程中有验证码、滑块等反自动化机制录制和压测都会失败。在测试环境通常需要关闭或设置万能验证码。这是性能测试环境管理的范畴。资源消耗与规模化即使使用无头浏览器Playwright录制也会消耗相当内存。在长时间录制或复杂流程时注意监控资源。对于大规模压测生成流量的一方即运行ab或Locust的机器本身也可能成为瓶颈需要考虑分布式压测。数据污染压测会产生大量测试数据如测试订单。必须有配套的数据清理机制或者在测试数据库中使用隔离的测试数据前缀方便事后清理。5.2 ApacheBench结果解读与性能问题定位运行ab后你会看到类似下面的输出摘要Server Software: nginx/1.18.0 Server Hostname: your-ecommerce-site.com Server Port: 443 SSL/TLS Protocol: TLSv1.2,ECDHE-RSA-AES256-GCM-SHA384,2048,256 Document Path: /api/login Document Length: 152 bytes Concurrency Level: 100 Time taken for tests: 22.647 seconds Complete requests: 2000 Failed requests: 0 Total transferred: 654000 bytes HTML transferred: 304000 bytes Requests per second: 88.31 [#/sec] (mean) Time per request: 1132.236 [ms] (mean) Time per request: 11.322 [ms] (mean, across all concurrent requests) Transfer rate: 28.20 [Kbytes/sec] received Connection Times (ms) min mean[/-sd] median max Connect: 25 29 2.1 29 45 Processing: 200 1101 285.7 1089 2234 Waiting: 200 1100 285.7 1088 2234 Total: 230 1130 285.8 1118 2259 Percentage of the requests served within a certain time (ms) 50% 1118 66% 1234 75% 1301 80% 1345 90% 1490 95% 1600 98% 1750 99% 1850 100% 2259 (longest request)关键指标解读与问题线索Requests per second (RPS):88.31。这是吞吐量越高越好。如果这个值远低于预期可能是服务器处理能力不足或存在瓶颈。Time per request (mean):1132.236 ms。这是服务器平均处理一个请求的时间包括网络传输。这个值偏高。Failed requests:0。必须为0非零表示有请求失败需要查看具体原因超时、5xx错误等。Connection Times - Processing: 平均1101 ms标准差285.7 ms。这表示服务器自身的处理时间很长且波动大。这是需要重点关注的性能问题信号。Percentage table (百分比分布表): 这是黄金指标。它告诉你响应时间的分布情况。50%(中位数):1118 ms一半的请求在这个时间内完成。90%:1490 ms90%的请求在1.5秒内完成。99%:1850 ms最慢的1%请求也控制在1.85秒内。分析中位数和90分位值差距较大~372ms说明有部分请求明显慢于平均水平。结合Processing时间的高标准差说明服务器处理不稳定。可能的原因有数据库查询效率低下、某些请求触发了慢逻辑、服务器资源CPU/内存争用、或存在外部服务调用延迟。排查方向服务器监控压测时监控服务器的CPU、内存、磁盘I/O、网络带宽使用率。如果任何一项接近饱和那就是瓶颈。应用日志查看应用日志寻找错误、警告或慢查询记录。重点关注处理时间超过1秒的请求日志。数据库监控如果涉及数据库检查慢查询日志。高并发下的锁竞争、缺失索引的查询是常见性能杀手。外部依赖检查应用是否调用了其他API或服务。这些外部服务的性能会直接影响你的接口。逐步加压不要一开始就上高并发。从-c 10开始逐步增加到-c 50,-c 100观察各项指标的变化曲线。如果响应时间随着并发数线性增长说明应用无法有效处理并发可能存在全局锁或资源竞争问题。5.3 结合UI自动化结果的性能分析优势传统的单一接口压测你可能只知道/api/login慢。但结合了UI自动化流程后你的分析维度更丰富了场景化瓶颈定位你发现“登录后首次加购”这个场景整体慢而单独压登录和加购接口却很快。问题可能出在会话初始化、缓存加载或前后请求的上下文依赖上。资源加载影响UI流程揭示了页面加载需要调用A、B、C三个接口。压测发现A接口很慢导致整个页面卡顿。你可以优先优化A接口。更真实的基准你得到了一个基于真实用户操作的“事务响应时间”。例如“从点击登录到进入首页”这个事务在100并发下90%的用户体验是2秒。这个指标比单纯的接口响应时间更有业务价值。这种结合方式让性能测试从“验证基础设施能力”部分转向了“保障用户体验流畅度”其价值和精准度都得到了显著提升。它要求测试人员不仅懂工具还要懂业务、懂系统架构从而能更有效地发现和定位影响用户真实感受的性能瓶颈。
