1. mitmproxy核心功能与应用场景解析mitmproxy是一款基于Python开发的中间人代理工具它允许开发者拦截、检查、修改和重放HTTP/HTTPS流量。与Wireshark这类被动抓包工具不同mitmproxy提供了主动干预流量的能力这在以下场景中尤为实用移动端调试当手机APP的API请求出现异常时传统抓包工具只能看到加密后的HTTPS流量而mitmproxy可以在设备上安装CA证书后解密并修改这些请求API逆向工程通过观察客户端与服务端的完整交互过程快速理解私有协议的数据结构安全测试模拟各种异常请求如参数篡改、头部注入来检测服务端漏洞性能优化分析请求/响应中的冗余数据识别可压缩或缓存的内容我在实际项目中曾遇到一个典型案例某金融APP在特定网络环境下会出现数据加载失败通过mitmproxy脚本自动重试失败请求并修改TCP连接超时参数最终定位是运营商链路对长连接做了不合理限制。2. 环境配置与证书安装2.1 基础环境搭建推荐使用Python 3.8环境通过pip安装最新版本pip install mitmproxy9.0.1安装后会获得三个核心组件mitmproxy命令行交互式工具mitmdump轻量级抓包工具mitmwebWeb界面版本2.2 证书配置关键步骤HTTPS流量拦截需要设备信任mitmproxy的CA证书这是最易出错的环节生成证书首次运行mitmproxy自动生成mkdir -p ~/.mitmproxy mitmproxy桌面端安装Windows双击mitmproxy-ca-cert.p12导入证书存储macOS钥匙串访问中导入后需手动设置始终信任移动端安装mitmproxy启动代理后手机访问http://mitm.it下载对应系统证书Android需在设置-安全中手动安装iOS安装后需在关于本机-证书信任设置中启用重要提示测试结束后务必移除证书避免日常流量被第三方监控。我曾遇到开发者在测试机保留证书导致生产环境API密钥泄露的案例。3. 脚本开发核心模式mitmproxy提供两种脚本编写方式对应不同粒度的控制需求3.1 事件驱动模式推荐通过实现特定事件处理方法来控制流量这是最灵活的方式。新建modify_flow.pyfrom mitmproxy import http class RequestModifier: def request(self, flow: http.HTTPFlow) - None: # 修改所有包含test的请求路径 if test in flow.request.url: flow.request.path /api/v2 flow.request.path def response(self, flow: http.HTTPFlow) - None: # 在响应头中添加调试标记 flow.response.headers[X-Debug-By] mitmproxy addons [RequestModifier()]启动时加载脚本mitmproxy -s modify_flow.py3.2 内联脚本模式适合快速测试简单逻辑通过-e参数直接执行代码mitmproxy -e from mitmproxy import http; def request(flow): flow.request.headers[User-Agent] Mozilla/5.04. 实战电商APP流量分析案例4.1 需求场景某电商APP存在商品价格显示异常需要捕获所有商品详情API请求分析响应中的价格字段结构修改特定商品价格测试前端容错4.2 实现脚本创建price_analyzer.pyimport json from mitmproxy import http class PriceMonitor: def __init__(self): self.price_log open(price_changes.log, a) def response(self, flow: http.HTTPFlow): if /product/detail in flow.request.path: try: data json.loads(flow.response.text) original_price data[result][price] # 修改超过1000元的商品价格 if original_price 1000: data[result][price] 999 flow.response.text json.dumps(data) self.price_log.write( fModified price: {flow.request.url} f{original_price} - 999\n ) except Exception as e: print(fError processing {flow.request.url}: {str(e)}) addons [PriceMonitor()]关键点说明使用response事件处理确保获取完整响应JSON操作需处理可能的解析异常文件操作建议使用with语句自动关闭5. 高级技巧与性能优化5.1 流量过滤技巧避免处理无关流量提升性能def request(self, flow): # 只处理特定域名的API请求 if api.shop.com not in flow.request.host: return # 排除静态资源 if flow.request.path.endswith((.jpg, .png)): return5.2 并发处理配置大数据量场景下调整线程池mitmproxy --set upstream_certfalse --set stream_large_bodies1m5.3 脚本调试方案推荐使用VS Code调试配置{ version: 0.2.0, configurations: [ { name: Mitmproxy Debug, type: python, request: launch, program: /usr/local/bin/mitmproxy, args: [-s, ${file}], console: integratedTerminal } ] }6. 常见问题解决方案6.1 证书错误排查表现象可能原因解决方案手机无法连接代理IP/端口错误确认电脑和手机在同一网络检查防火墙HTTPS网站显示警告证书未正确安装重新访问mitm.it下载证书APP提示网络错误证书固定Certificate Pinning使用frida等工具绕过检测6.2 脚本不生效检查清单脚本文件是否有执行权限Python版本是否匹配应使用mitmproxy同版本事件处理方法名是否拼写正确如response不是respond是否在正确的处理阶段操作修改请求应在request阶段6.3 性能问题优化当处理大量请求时可能出现延迟建议避免在脚本中进行复杂计算使用lru_cache缓存重复计算结果设置stream_large_bodies参数处理大文件7. 安全注意事项法律风险未经授权监控他人流量可能违法仅限测试自己开发的应用数据安全临时目录可能存储敏感流量数据测试后执行rm -rf ~/.mitmproxy/*生产环境隔离绝对不要在连接生产服务器的设备上保留mitmproxy证书我在金融行业项目中曾建立以下安全规范所有测试设备单独网络隔离脚本操作需双人复核每日自动清理流量日志使用后立即卸载证书
1. mitmproxy核心功能与应用场景解析mitmproxy是一款基于Python开发的中间人代理工具它允许开发者拦截、检查、修改和重放HTTP/HTTPS流量。与Wireshark这类被动抓包工具不同mitmproxy提供了主动干预流量的能力这在以下场景中尤为实用移动端调试当手机APP的API请求出现异常时传统抓包工具只能看到加密后的HTTPS流量而mitmproxy可以在设备上安装CA证书后解密并修改这些请求API逆向工程通过观察客户端与服务端的完整交互过程快速理解私有协议的数据结构安全测试模拟各种异常请求如参数篡改、头部注入来检测服务端漏洞性能优化分析请求/响应中的冗余数据识别可压缩或缓存的内容我在实际项目中曾遇到一个典型案例某金融APP在特定网络环境下会出现数据加载失败通过mitmproxy脚本自动重试失败请求并修改TCP连接超时参数最终定位是运营商链路对长连接做了不合理限制。2. 环境配置与证书安装2.1 基础环境搭建推荐使用Python 3.8环境通过pip安装最新版本pip install mitmproxy9.0.1安装后会获得三个核心组件mitmproxy命令行交互式工具mitmdump轻量级抓包工具mitmwebWeb界面版本2.2 证书配置关键步骤HTTPS流量拦截需要设备信任mitmproxy的CA证书这是最易出错的环节生成证书首次运行mitmproxy自动生成mkdir -p ~/.mitmproxy mitmproxy桌面端安装Windows双击mitmproxy-ca-cert.p12导入证书存储macOS钥匙串访问中导入后需手动设置始终信任移动端安装mitmproxy启动代理后手机访问http://mitm.it下载对应系统证书Android需在设置-安全中手动安装iOS安装后需在关于本机-证书信任设置中启用重要提示测试结束后务必移除证书避免日常流量被第三方监控。我曾遇到开发者在测试机保留证书导致生产环境API密钥泄露的案例。3. 脚本开发核心模式mitmproxy提供两种脚本编写方式对应不同粒度的控制需求3.1 事件驱动模式推荐通过实现特定事件处理方法来控制流量这是最灵活的方式。新建modify_flow.pyfrom mitmproxy import http class RequestModifier: def request(self, flow: http.HTTPFlow) - None: # 修改所有包含test的请求路径 if test in flow.request.url: flow.request.path /api/v2 flow.request.path def response(self, flow: http.HTTPFlow) - None: # 在响应头中添加调试标记 flow.response.headers[X-Debug-By] mitmproxy addons [RequestModifier()]启动时加载脚本mitmproxy -s modify_flow.py3.2 内联脚本模式适合快速测试简单逻辑通过-e参数直接执行代码mitmproxy -e from mitmproxy import http; def request(flow): flow.request.headers[User-Agent] Mozilla/5.04. 实战电商APP流量分析案例4.1 需求场景某电商APP存在商品价格显示异常需要捕获所有商品详情API请求分析响应中的价格字段结构修改特定商品价格测试前端容错4.2 实现脚本创建price_analyzer.pyimport json from mitmproxy import http class PriceMonitor: def __init__(self): self.price_log open(price_changes.log, a) def response(self, flow: http.HTTPFlow): if /product/detail in flow.request.path: try: data json.loads(flow.response.text) original_price data[result][price] # 修改超过1000元的商品价格 if original_price 1000: data[result][price] 999 flow.response.text json.dumps(data) self.price_log.write( fModified price: {flow.request.url} f{original_price} - 999\n ) except Exception as e: print(fError processing {flow.request.url}: {str(e)}) addons [PriceMonitor()]关键点说明使用response事件处理确保获取完整响应JSON操作需处理可能的解析异常文件操作建议使用with语句自动关闭5. 高级技巧与性能优化5.1 流量过滤技巧避免处理无关流量提升性能def request(self, flow): # 只处理特定域名的API请求 if api.shop.com not in flow.request.host: return # 排除静态资源 if flow.request.path.endswith((.jpg, .png)): return5.2 并发处理配置大数据量场景下调整线程池mitmproxy --set upstream_certfalse --set stream_large_bodies1m5.3 脚本调试方案推荐使用VS Code调试配置{ version: 0.2.0, configurations: [ { name: Mitmproxy Debug, type: python, request: launch, program: /usr/local/bin/mitmproxy, args: [-s, ${file}], console: integratedTerminal } ] }6. 常见问题解决方案6.1 证书错误排查表现象可能原因解决方案手机无法连接代理IP/端口错误确认电脑和手机在同一网络检查防火墙HTTPS网站显示警告证书未正确安装重新访问mitm.it下载证书APP提示网络错误证书固定Certificate Pinning使用frida等工具绕过检测6.2 脚本不生效检查清单脚本文件是否有执行权限Python版本是否匹配应使用mitmproxy同版本事件处理方法名是否拼写正确如response不是respond是否在正确的处理阶段操作修改请求应在request阶段6.3 性能问题优化当处理大量请求时可能出现延迟建议避免在脚本中进行复杂计算使用lru_cache缓存重复计算结果设置stream_large_bodies参数处理大文件7. 安全注意事项法律风险未经授权监控他人流量可能违法仅限测试自己开发的应用数据安全临时目录可能存储敏感流量数据测试后执行rm -rf ~/.mitmproxy/*生产环境隔离绝对不要在连接生产服务器的设备上保留mitmproxy证书我在金融行业项目中曾建立以下安全规范所有测试设备单独网络隔离脚本操作需双人复核每日自动清理流量日志使用后立即卸载证书
