树莓派4B部署YOLOv5全流程从PyTorch模型优化到ONNX Runtime推理实战在边缘计算设备上实现实时目标检测一直是嵌入式开发者和AI爱好者的热门课题。树莓派4B凭借其出色的性价比和丰富的生态成为验证轻量级AI模型的理想平台。本文将完整呈现如何在树莓派4B上部署YOLOv5模型的全过程重点解决ARM架构下的环境配置、模型优化和推理加速等核心问题。1. 环境准备与依赖安装树莓派4B采用ARMv7l架构这导致许多x86平台上的预编译包无法直接使用。我们需要特别注意Python版本、PyTorch和torchvision的兼容性组合。以下是经过验证的环境配置方案# 检查系统架构 uname -a # 输出示例Linux raspberrypi 5.10.103-v7l #1529 SMP Tue Mar 8 12:21:37 GMT 2022 armv7l GNU/Linux关键组件版本选择Python 3.9.18源码编译PyTorch 1.8.1ARMv7l专用whltorchvision 0.9.1需与PyTorch版本匹配ONNX Runtime 1.14.1ARMv7l版本安装PyTorch的ARM兼容版本需要手动下载预编译的whl文件wget https://github.com/Qengineering/PyTorch-Raspberry-Pi-OS-64bit/raw/main/torch-1.8.1-cp39-cp39-linux_armv7l.whl sudo pip3 install torch-1.8.1-cp39-cp39-linux_armv7l.whl常见问题解决方案GLIBC版本不匹配更新系统或使用旧版依赖numpy冲突强制安装指定版本pip3 install numpy1.23.5内存不足添加swap空间推荐2GB提示树莓派4B的USB 3.0接口可外接SSD作为编译缓存显著提升大型软件编译速度。在./configure阶段添加--prefix/mnt/ssd/python参数可将Python安装到外置存储。2. YOLOv5模型准备与优化YOLOv5的官方仓库提供了多种预训练模型从nano到xlarge不同规模。考虑到树莓派的计算能力我们选择YOLOv5s作为基准模型import torch from models.experimental import attempt_load # 加载预训练模型 model attempt_load(yolov5s.pt, map_locationcpu) # 使用CPU模式加载 # 转换为推理模式 model.eval()模型优化技巧量化压缩将FP32模型转换为INT8quantized_model torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtypetorch.qint8 )层融合合并ConvBNReLU等连续操作model.fuse()剪枝优化移除冗余连接需重新训练优化前后的模型大小对比模型类型参数量文件大小推理速度(FPS)原始模型7.2M14.4MB2.1量化模型7.2M3.6MB5.8剪枝模型4.1M8.2MB6.33. ONNX转换与Runtime部署PyTorch模型需要转换为ONNX格式才能在ONNX Runtime中运行。转换时需特别注意输入输出节点的命名import torch.onnx # 示例输入张量 dummy_input torch.randn(1, 3, 640, 640) # 导出ONNX模型 torch.onnx.export( model, dummy_input, yolov5s.onnx, opset_version12, input_names[images], output_names[output], dynamic_axes{ images: {0: batch}, output: {0: batch} } )ONNX Runtime优化配置import onnxruntime as ort # 创建优化会话 sess_options ort.SessionOptions() sess_options.graph_optimization_level ort.GraphOptimizationLevel.ORT_ENABLE_ALL sess_options.optimized_model_filepath yolov5s_optimized.onnx # 使用CPU执行提供者 providers [CPUExecutionProvider] session ort.InferenceSession(yolov5s.onnx, sess_options, providersproviders)性能对比测试结果输入尺寸640x640框架推理延迟(ms)内存占用(MB)FPSPyTorch原生4763202.1ONNX Runtime1722105.8量化ONNX8918011.24. 完整推理流程实现结合OpenCV的视频采集和ONNX Runtime的推理能力我们可以构建完整的实时检测系统import cv2 import numpy as np from utils.general import non_max_suppression # 初始化视频捕获 cap cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 640) # 预处理函数 def preprocess(image): image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image image.transpose(2, 0, 1) # HWC to CHW image np.expand_dims(image, axis0) # 添加batch维度 image image.astype(np.float32) / 255.0 return image while True: ret, frame cap.read() if not ret: break # 预处理 input_tensor preprocess(frame) # ONNX推理 outputs session.run(None, {images: input_tensor}) # 后处理 pred non_max_suppression(torch.tensor(outputs[0]), conf_thres0.5) # 绘制结果 for det in pred[0]: x1, y1, x2, y2, conf, cls det cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.imshow(YOLOv5, frame) if cv2.waitKey(1) ord(q): break性能优化技巧使用OpenCV的V4L2后端cv2.VideoCapture(0, cv2.CAP_V4L2)固定内存分配预分配输入输出缓冲区多线程处理分离图像采集和推理线程在实际测试中经过优化的系统在树莓派4B上可以达到8-12FPS的检测速度足以满足许多实时应用场景的需求。对于需要更高性能的场景可以考虑使用树莓派CM4的计算模块或外接神经计算棒等加速方案。
树莓派4B部署YOLOv5全流程从PyTorch模型优化到ONNX Runtime推理实战在边缘计算设备上实现实时目标检测一直是嵌入式开发者和AI爱好者的热门课题。树莓派4B凭借其出色的性价比和丰富的生态成为验证轻量级AI模型的理想平台。本文将完整呈现如何在树莓派4B上部署YOLOv5模型的全过程重点解决ARM架构下的环境配置、模型优化和推理加速等核心问题。1. 环境准备与依赖安装树莓派4B采用ARMv7l架构这导致许多x86平台上的预编译包无法直接使用。我们需要特别注意Python版本、PyTorch和torchvision的兼容性组合。以下是经过验证的环境配置方案# 检查系统架构 uname -a # 输出示例Linux raspberrypi 5.10.103-v7l #1529 SMP Tue Mar 8 12:21:37 GMT 2022 armv7l GNU/Linux关键组件版本选择Python 3.9.18源码编译PyTorch 1.8.1ARMv7l专用whltorchvision 0.9.1需与PyTorch版本匹配ONNX Runtime 1.14.1ARMv7l版本安装PyTorch的ARM兼容版本需要手动下载预编译的whl文件wget https://github.com/Qengineering/PyTorch-Raspberry-Pi-OS-64bit/raw/main/torch-1.8.1-cp39-cp39-linux_armv7l.whl sudo pip3 install torch-1.8.1-cp39-cp39-linux_armv7l.whl常见问题解决方案GLIBC版本不匹配更新系统或使用旧版依赖numpy冲突强制安装指定版本pip3 install numpy1.23.5内存不足添加swap空间推荐2GB提示树莓派4B的USB 3.0接口可外接SSD作为编译缓存显著提升大型软件编译速度。在./configure阶段添加--prefix/mnt/ssd/python参数可将Python安装到外置存储。2. YOLOv5模型准备与优化YOLOv5的官方仓库提供了多种预训练模型从nano到xlarge不同规模。考虑到树莓派的计算能力我们选择YOLOv5s作为基准模型import torch from models.experimental import attempt_load # 加载预训练模型 model attempt_load(yolov5s.pt, map_locationcpu) # 使用CPU模式加载 # 转换为推理模式 model.eval()模型优化技巧量化压缩将FP32模型转换为INT8quantized_model torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtypetorch.qint8 )层融合合并ConvBNReLU等连续操作model.fuse()剪枝优化移除冗余连接需重新训练优化前后的模型大小对比模型类型参数量文件大小推理速度(FPS)原始模型7.2M14.4MB2.1量化模型7.2M3.6MB5.8剪枝模型4.1M8.2MB6.33. ONNX转换与Runtime部署PyTorch模型需要转换为ONNX格式才能在ONNX Runtime中运行。转换时需特别注意输入输出节点的命名import torch.onnx # 示例输入张量 dummy_input torch.randn(1, 3, 640, 640) # 导出ONNX模型 torch.onnx.export( model, dummy_input, yolov5s.onnx, opset_version12, input_names[images], output_names[output], dynamic_axes{ images: {0: batch}, output: {0: batch} } )ONNX Runtime优化配置import onnxruntime as ort # 创建优化会话 sess_options ort.SessionOptions() sess_options.graph_optimization_level ort.GraphOptimizationLevel.ORT_ENABLE_ALL sess_options.optimized_model_filepath yolov5s_optimized.onnx # 使用CPU执行提供者 providers [CPUExecutionProvider] session ort.InferenceSession(yolov5s.onnx, sess_options, providersproviders)性能对比测试结果输入尺寸640x640框架推理延迟(ms)内存占用(MB)FPSPyTorch原生4763202.1ONNX Runtime1722105.8量化ONNX8918011.24. 完整推理流程实现结合OpenCV的视频采集和ONNX Runtime的推理能力我们可以构建完整的实时检测系统import cv2 import numpy as np from utils.general import non_max_suppression # 初始化视频捕获 cap cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 640) # 预处理函数 def preprocess(image): image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) image image.transpose(2, 0, 1) # HWC to CHW image np.expand_dims(image, axis0) # 添加batch维度 image image.astype(np.float32) / 255.0 return image while True: ret, frame cap.read() if not ret: break # 预处理 input_tensor preprocess(frame) # ONNX推理 outputs session.run(None, {images: input_tensor}) # 后处理 pred non_max_suppression(torch.tensor(outputs[0]), conf_thres0.5) # 绘制结果 for det in pred[0]: x1, y1, x2, y2, conf, cls det cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.imshow(YOLOv5, frame) if cv2.waitKey(1) ord(q): break性能优化技巧使用OpenCV的V4L2后端cv2.VideoCapture(0, cv2.CAP_V4L2)固定内存分配预分配输入输出缓冲区多线程处理分离图像采集和推理线程在实际测试中经过优化的系统在树莓派4B上可以达到8-12FPS的检测速度足以满足许多实时应用场景的需求。对于需要更高性能的场景可以考虑使用树莓派CM4的计算模块或外接神经计算棒等加速方案。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
