1. 这份干货集锦到底解决了什么问题2019年那会儿计算机视觉这个方向已经火得不行了但真正沉下心做技术沉淀的人其实不多。大部分刚入行的朋友面临一个很尴尬的局面网上教程满天飞公众号文章刷了一篇又一篇可真到要动手跑一个目标检测模型的时候连环境都搭不起来。CUDA和PyTorch版本对不上、OpenCV编译报错、数据集格式转来转去搞不明白——这些问题看起来琐碎但每一个都能卡住人一整天。这份“干货集锦分类汇总”本质上就是给这个阶段的从业者准备的一份索引式资料。它把2019年下半年散落在各个渠道的计算机视觉相关内容做了系统化整理覆盖了从环境搭建到模型训练再到部署落地的完整链路。核心关键词包括计算机视觉、TensorFlow、PyTorch、OpenCV和目标检测这几个词基本勾勒出了当时主流技术栈的全貌。适合谁来参考我的判断是三类人第一类是刚入门计算机视觉的学生或者转行开发者需要一条清晰的学习路径而不是零散的知识点第二类是有一定基础但工程经验不足的算法工程师想看看别人在实际项目中怎么选型、怎么避坑第三类是做计算机视觉大作业或者毕业设计的同学需要快速找到可复现的方案和数据集资源。这份集锦的价值不在于它提出了什么新算法而在于它把“踩过的坑”和“能跑通的方案”做了归类。你不需要从头翻几百篇文章按分类找到自己需要的部分就行。下面我按自己的理解把这份集锦涉及的核心内容拆开来讲同时补充一些当年实操中积累的经验。2. 环境搭建PyTorch和OpenCV的安装为什么总是出问题2.1 PyTorch环境搭建的版本匹配逻辑2019年下半年PyTorch已经更新到1.3版本左右但很多人还在用1.0或者0.4。版本差异带来的API变化不算大真正让人头疼的是CUDA版本、cuDNN版本和PyTorch版本三者之间的匹配关系。我当时在Ubuntu 18.04上装PyTorch第一次就翻车了。系统里预装的CUDA是9.0我直接pip install torch装完发现torch.cuda.is_available()返回False。查了半天才搞明白pip默认装的是CPU版本要装GPU版本必须指定对应的CUDA版本索引。正确的做法是这样的# 先确认系统CUDA版本 nvcc --version # 如果CUDA是10.0用这个命令 pip install torch1.3.0 torchvision0.4.1 -f https://download.pytorch.org/whl/torch_stable.html这里有个细节-f参数后面跟的URL是PyTorch官方的wheel文件索引页pip会根据你的Python版本和系统架构自动选择对应的包。如果你用的是CUDA 10.1就把URL里的cu100换成cu101。这个逻辑在Windows上是一样的只是路径和命令格式略有不同。注意不要同时用conda和pip安装PyTorch混用会导致依赖冲突。我试过一次conda装了pytorch后又用pip装torchvision结果import torch直接报DLL load failed。后来全部卸载重装才解决。2.2 OpenCV安装的三种方式与适用场景OpenCV的安装方式在2019年主要有三种pip安装预编译包、源码编译、conda安装。每种方式适合不同场景选错了会浪费大量时间。pip install opencv-python是最快的方式适合快速验证算法和做图像处理实验。但它有个限制不带CUDA加速也不包含一些专利算法比如SIFT在早期版本里被移到了contrib模块。如果你只是做基础的图像读取、缩放、边缘检测pip版本完全够用。源码编译适合需要CUDA加速或者要修改OpenCV源码的场景。编译过程大概需要30分钟到1小时取决于机器性能。关键步骤是cmake -D CMAKE_BUILD_TYPERELEASE \ -D CMAKE_INSTALL_PREFIX/usr/local \ -D WITH_CUDAON \ -D CUDA_ARCH_BIN7.5 \ -D WITH_CUDNNON \ -D OPENCV_EXTRA_MODULES_PATH../../opencv_contrib/modules \ ..CUDA_ARCH_BIN这个参数要根据你的显卡计算能力来填。比如RTX 2080 Ti是7.5GTX 1080 Ti是6.1。填错了编译能过但运行时会报no kernel image is available for execution on the device。这个坑我踩过当时用的是1080 Ti随手填了7.5结果跑SIFT的时候直接崩了。conda安装是折中方案conda install -c conda-forge opencv版本更新比pip慢一些但依赖管理更省心。适合用Anaconda管理环境的用户。2.3 常见报错与排查思路ModuleNotFoundError: No module named cv2这个报错太常见了。原因通常有三个一是根本没装OpenCV二是装了但装到了另一个Python环境里三是装了opencv-python但import的时候写成了import opencv。排查方法很简单在终端里执行pip list | grep opencv python -c import sys; print(sys.executable)第一条命令看OpenCV是否在已安装列表里第二条看当前Python解释器的路径。如果pip list里有opencv-python但import还是失败大概率是Python环境不一致。比如你在系统Python里装了但IDE用的是虚拟环境的解释器。cv2.error: OpenCV(4.4.0)这个报错信息通常后面会跟具体原因。我遇到最多的是图像路径包含中文或者图像本身损坏。OpenCV的imread函数在路径有中文时会返回None然后后续操作就报错。解决办法是用cv2.imdecode配合np.fromfile来读取import cv2 import numpy as np def read_image_chinese_path(path): img cv2.imdecode(np.fromfile(path, dtypenp.uint8), cv2.IMREAD_COLOR) return img这个函数能解决99%的中文路径问题实测有效。3. 目标检测从YOLO到Transformer的选型逻辑3.1 YOLO系列在2019年的实际表现2019年下半年YOLOv3还是目标检测领域的主力模型。YOLOv4要到2020年4月才发布所以当时讨论最多的就是YOLOv3和它的各种改进版本。YOLOv3的核心优势是速度快在Titan X上跑COCO数据集能达到30FPS以上mAP在33%左右。这个精度虽然比不上Faster R-CNN但速度优势太明显了适合实时检测场景。YOLOv3的网络结构用了Darknet-53作为骨干网络引入了残差连接和多尺度预测。多尺度预测是YOLOv3相比v2最大的改进它在三个不同尺度的特征图上做检测小尺度特征图负责检测大物体大尺度特征图负责检测小物体。这个设计思路后来被很多模型借鉴。实际部署YOLOv3的时候有几个参数需要特别注意。输入尺寸默认是416x416但可以改成608x608来提升小物体检测精度代价是速度下降大约40%。置信度阈值和NMS阈值需要根据具体场景调一般置信度阈值设在0.5左右NMS阈值设在0.45左右。如果是检测密集小目标NMS阈值要调低一些否则重叠的物体会被误删。实操心得YOLOv3的anchor box是基于COCO数据集聚类得到的如果你的数据集目标尺寸分布和COCO差异很大最好重新聚类生成anchor。我用k-means重新聚类后mAP提升了将近5个百分点。聚类代码在Darknet的scripts目录下有现成的。3.2 Transformer在目标检测中的早期探索2019年Transformer在目标检测领域还处于早期探索阶段。DETRDetection Transformer是Facebook在2020年才发表的但2019年下半年已经有一些工作在尝试把注意力机制引入检测任务。当时的主流做法是在CNN特征提取之后加注意力模块比如SE模块、CBAM模块而不是完全替换CNN。Transformer做目标检测的核心思路是用自注意力机制替代NMS后处理实现端到端的检测。这个想法很优雅但2019年的算力条件下训练成本太高。DETR需要训练500个epoch才能收敛而YOLOv3只需要几百个iteration就能看到效果。所以当时实际项目中用Transformer做检测的很少更多是在学术研究层面。如果你现在回头看那段时期会发现Transformer在视觉领域的爆发是有迹可循的。ViT在2020年发表Swin Transformer在2021年发表然后各种基于Transformer的检测模型才真正铺开。2019年下半年的这些探索算是为后面的爆发做了铺垫。3.3 目标检测数据集的选择与处理数据集这块2019年最常用的还是PASCAL VOC和COCO。VOC数据集小一些20个类别适合快速验证算法。COCO有80个类别30多万张图片适合做benchmark。如果是特定场景的检测任务比如鸟类目标检测就需要自己标注数据或者找相关的公开数据集。鸟类目标检测的数据集当时比较分散CUB-200-2011是细粒度分类数据集不是检测数据集。真正做鸟类检测的话可以用COCO里bird类别筛选出来大概有几千张图片。或者用Open Images Dataset里的鸟类标注数据量更大但标注质量参差不齐。数据格式转换是个体力活。VOC是XML格式COCO是JSON格式YOLO是txt格式。我写过一个转换脚本核心逻辑就是解析XML里的bndbox坐标然后归一化成YOLO需要的格式def voc_to_yolo(xml_path, img_w, img_h): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(object): cls_name obj.find(name).text bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) # 归一化 x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f{cls_id} {x_center} {y_center} {w} {h}) return lines这个脚本看起来简单但实际用的时候要注意坐标越界的问题。有些标注的xmax超过了图像宽度直接归一化会得到大于1的值训练时会报错。加一个clip操作就能解决。4. 图像处理与三维视觉OpenCV的进阶用法4.1 solvePnP在三维目标检测中的应用solvePnP是OpenCV里做三维姿态估计的核心函数。它的作用是已知若干三维空间点和它们在图像上的二维投影点求解相机的位姿旋转向量和平移向量。这个函数在三维目标检测里非常关键因为很多三维检测方法都需要先估计物体的朝向。solvePnP有几种求解方法SOLVEPNP_ITERATIVE、SOLVEPNP_EPNP、SOLVEPNP_P3P等。ITERATIVE方法适合点数较多的情况EPNP适合点数较少的情况P3P需要恰好4个点。实际用的时候如果点数大于6个用ITERATIVE方法精度最高。我做过一个车辆三维姿态估计的项目用的是solvePnP加车辆三维模型。流程是这样的先检测车辆二维框然后在车辆模型上选取8个角点根据二维框的位置估计这8个角点在图像上的大致位置最后用solvePnP求解位姿。这个方法的精度取决于二维检测的准确度和角点估计的合理性。实测下来在车辆正对相机的时候精度不错但侧面角度大的时候误差会明显增大。注意solvePnP对噪声很敏感输入点如果有几个像素的误差输出的旋转矩阵可能偏差十几度。建议先用RANSAC做一轮外点剔除或者用多帧结果做平滑。4.2 搭建TF树坐标变换的实操要点TF树Transform Tree是ROS里的概念用来管理不同坐标系之间的变换关系。在机器人视觉项目里相机坐标系、机器人基座坐标系、世界坐标系之间的变换都需要用TF树来维护。搭建TF树的核心是确定坐标系之间的父子关系然后发布对应的变换。常见的坐标系关系是world - base_link - camera_link - camera_optical_frame。world是全局坐标系base_link是机器人本体坐标系camera_link是相机安装位置坐标系camera_optical_frame是相机光学坐标系Z轴朝前。发布变换的时候要注意时间戳如果时间戳对不上TF树会报错。import tf2_ros import geometry_msgs.msg br tf2_ros.TransformBroadcaster() t geometry_msgs.msg.TransformStamped() t.header.stamp rospy.Time.now() t.header.frame_id base_link t.child_frame_id camera_link t.transform.translation.x 0.1 t.transform.translation.y 0.0 t.transform.translation.z 0.5 t.transform.rotation.w 1.0 br.sendTransform(t)这段代码发布了一个从base_link到camera_link的静态变换。实际项目中相机通常是固定在机器人上的所以用static_transform_publisher更合适不需要每帧都发布。4.3 Halcon和OpenCV的差异与选择Halcon和OpenCV的区别本质上商业库和开源库的区别。Halcon在工业视觉领域用了很多年算法稳定性和精度都很高特别是亚像素边缘检测、形状匹配这些功能OpenCV确实比不了。但Halcon是收费的一个license好几万小项目根本用不起。OpenCV的优势是免费、社区活跃、文档丰富。虽然某些算法的精度不如Halcon但通过参数调优和预处理大部分场景也能满足需求。我个人的选择逻辑是如果项目预算充足且对精度要求极高比如半导体检测用Halcon如果是常规的视觉任务比如目标检测、图像分类OpenCV完全够用。Halcon还有一个优势是它的HDevelop环境可以交互式地调参和验证算法开发效率很高。OpenCV就没有这样的环境调参基本靠print和可视化。不过现在有一些第三方工具可以弥补这个不足比如用Jupyter Notebook做交互式开发。5. 模型部署与格式转换的实战经验5.1 PyTorch转ONNX的坑与解决方案PyTorch转ONNX是模型部署的常见需求。ONNX格式通用性好可以被TensorRT、OpenVINO等推理引擎加载。但转换过程经常出问题最常见的是算子不支持。PyTorch转ONNX的核心代码很简单import torch import torch.onnx dummy_input torch.randn(1, 3, 416, 416) torch.onnx.export(model, dummy_input, model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}})dynamic_axes参数很重要它指定了哪些维度是动态的。如果不设置导出的ONNX模型batch size固定为1推理时换batch size就会报错。算子不支持的问题通常出现在自定义层或者一些新出的算子上。比如PyTorch的adaptive pooling在某些版本里转ONNX会报错。解决办法是用固定尺寸的pooling替代或者自己写一个ONNX兼容的实现。还有一个坑是PyTorch和ONNX的版本匹配。PyTorch 1.3对应ONNX opset 11PyTorch 1.4对应opset 12。如果opset版本选低了一些算子不支持选高了推理引擎可能还不支持。我一般用opset 11兼容性最好。5.2 CUDA和PyTorch版本适配的排查方法CUDA和PyTorch版本不匹配是环境搭建阶段最常见的坑。排查方法分三步第一步确认系统CUDA版本。nvcc --version看编译版本nvidia-smi看驱动支持的版本。这两个可能不一样以nvidia-smi显示的为准因为驱动版本决定了能跑的最高CUDA版本。第二步确认PyTorch编译时用的CUDA版本。在Python里执行import torch print(torch.version.cuda) print(torch.cuda.is_available())如果torch.version.cuda显示10.0但系统CUDA是10.1一般也能用因为CUDA有向前兼容性。但如果显示None说明装的是CPU版本。第三步如果torch.cuda.is_available()返回False检查驱动版本是否满足PyTorch要求。PyTorch 1.3要求驱动版本至少是410.x低于这个版本需要升级驱动。实操心得我习惯用conda创建独立环境每个项目一个环境避免版本冲突。conda install pytorch torchvision cudatoolkit10.0 -c pytorch这条命令会自动处理CUDA版本匹配比pip省心。5.3 模型推理性能优化的几个方向模型推理性能优化在2019年主要围绕几个方向量化、剪枝、知识蒸馏、TensorRT加速。量化是把FP32的权重和激活值转成INT8模型大小减少75%推理速度提升2-4倍。PyTorch支持动态量化和静态量化动态量化适合LSTM和Linear层静态量化适合CNN。量化后的精度损失一般在1%以内但有些模型对量化很敏感精度可能掉5%以上。剪枝是去掉模型中不重要的权重或通道。结构化剪枝去掉整个通道可以直接减少计算量非结构化剪枝去掉单个权重需要稀疏矩阵运算支持才能加速。实际项目中结构化剪枝更实用。TensorRT是NVIDIA的推理加速库对YOLOv3的加速效果很明显。FP32转FP16后速度提升大约2倍转INT8后提升3-4倍。但TensorRT的INT8量化需要校准数据集校准集的质量直接影响量化精度。知识蒸馏是用大模型教小模型让小模型达到接近大模型的精度。这个方向在2019年很火但实际落地的不多因为蒸馏的训练成本不比直接训练小模型低。6. 常见问题速查与避坑指南6.1 环境配置类问题速查表问题现象可能原因解决方案torch.cuda.is_available()返回False装了CPU版本或CUDA版本不匹配卸载重装GPU版本检查CUDA版本import cv2报ModuleNotFoundError未安装或环境不一致pip install opencv-python检查Python解释器路径cv2.imread返回None路径含中文或文件损坏用imdecodefromfile读取nvcc --version和nvidia-smi版本不一致驱动版本和CUDA编译版本不同以nvidia-smi为准升级驱动或降级CUDApip安装时超时网络问题换国内源加--default-timeout1006.2 模型训练类问题排查训练不收敛是最让人头疼的问题。排查顺序一般是先看数据再看模型最后看超参数。数据方面检查标注是否正确、类别是否平衡、图像预处理是否合理。我遇到过一次训练loss一直不降查了半天发现是标注文件里的类别ID从1开始但代码里按0开始处理的导致所有标签都错位了。模型方面检查网络结构是否和预训练权重匹配。如果改了网络结构但加载了原始预训练权重某些层可能加载失败导致训练不稳定。用strictFalse加载然后打印哪些层没加载上。超参数方面学习率是最关键的。学习率太大loss会震荡太小收敛慢。一般从0.001开始试如果loss震荡就降到0.0001。batch size受显存限制但太小会导致BN层统计不准确一般至少设8。6.3 模型部署类问题排查部署阶段最常见的问题是推理结果和训练结果不一致。原因通常有几个预处理不一致、后处理不一致、数值精度差异。预处理不一致是最常见的。训练时用了归一化推理时忘了训练时用了RGB推理时用了BGR。这些细节一定要对齐。我习惯把预处理和后处理代码封装成独立的函数训练和推理共用同一份代码避免不一致。数值精度差异在FP16推理时比较明显。FP16的表示范围比FP32小某些激活值可能溢出。解决办法是用混合精度推理关键层保持FP32其他层用FP16。后处理不一致主要是NMS的参数。训练时用的NMS阈值和推理时不一样结果就会差很多。建议把NMS参数写在配置文件里训练和推理都从配置文件读取。6.4 独家避坑技巧汇总第一个技巧用Docker管理环境。Docker镜像可以固化所有依赖换机器的时候直接拉镜像不用重新配环境。我现在的习惯是每个项目一个Dockerfile基础镜像用nvidia/cuda:10.0-cudnn7-devel-ubuntu18.04然后在里面装PyTorch和OpenCV。第二个技巧训练前先跑一个mini batch。用少量数据跑几个iteration确认loss能下降、梯度能回传、显存不爆。这个步骤能提前发现大部分低级错误比直接跑完整训练再排查省时间。第三个技巧保存训练日志和配置文件。每次训练把超参数、数据路径、模型结构都记下来后面复现或者对比实验的时候不用靠回忆。我用TensorBoard记录loss曲线和指标用JSON保存配置文件。第四个技巧模型导出后一定要验证。PyTorch转ONNX后用ONNX Runtime跑一遍和PyTorch的输出对比。如果误差在1e-3以内说明转换成功如果误差很大说明某些算子转换有问题。第五个技巧数据增强不要过度。我见过有人用了十几种增强结果模型在验证集上表现很差。数据增强的目的是增加数据多样性不是越多越好。一般用随机翻转、随机裁剪、颜色抖动这几种就够了具体用哪些要根据数据集特点来定。7. 学习路径与资源推荐7.1 从零基础到项目实战的路线计算机视觉的学习路线我的建议是分四个阶段。第一阶段打基础学Python和数学。Python不用学太深掌握基本语法、numpy、matplotlib就行。数学重点学线性代数和概率论理解矩阵运算、特征值、贝叶斯公式这些概念。这个阶段大概需要1-2个月。第二阶段学深度学习和PyTorch。先看吴恩达的深度学习课程或者李沐的《动手学深度学习》然后跟着PyTorch官方教程写代码。重点理解卷积、池化、反向传播、优化器这些核心概念。这个阶段需要2-3个月。第三阶段做目标检测项目。从YOLOv3开始跑通训练和推理流程然后尝试换数据集、调参数、改网络结构。这个阶段需要1-2个月关键是动手不要只看不练。第四阶段深入某个方向。目标检测、图像分割、三维视觉、视频理解选一个自己感兴趣的方向深入。读论文、复现论文、参加比赛这个阶段没有终点持续学习就行。7.2 值得反复看的资源清单PyTorch官方教程是必看的特别是60分钟入门和迁移学习那两篇。OpenCV官方文档也是必备函数参数和示例代码都很全。YOLO的Darknet源码值得读一遍能理解目标检测的底层实现。论文方面YOLOv3、Faster R-CNN、SSD这三篇是目标检测的经典必读。Transformer那篇Attention is All You Need也建议读一下虽然2019年还没在视觉领域大规模应用但后面几年的发展都绕不开它。数据集方面COCO和VOC是标配Open Images Dataset数据量更大但下载慢。如果做特定场景可以找相关的公开数据集比如KITTI用于自动驾驶CUB-200用于细粒度分类。7.3 计算机视觉大作业的选题建议大作业选题要兼顾难度和工作量。太简单的题目体现不出水平太难的题目做不完。我的建议是选一个具体场景用现有模型做迁移学习或者改进。比如“基于YOLOv3的交通标志检测”数据集可以用TT100K或者GTSRB模型用YOLOv3预训练权重做fine-tune然后对比不同anchor设置对精度的影响。这个题目工作量适中有明确的评价指标也容易做出对比实验。或者“基于OpenCV的车道线检测”用传统图像处理方法不需要训练模型适合对深度学习不太熟悉的同学。核心是边缘检测、霍夫变换、透视变换这几个技术点调参空间大容易做出效果。选题的时候注意一点不要选太宽泛的题目比如“基于深度学习的图像识别”这个题目太大了做不深。要具体到某个任务、某个数据集、某个模型这样才能做出有深度的东西。7.4 我个人在实际操作中的体会做了几年计算机视觉的项目最大的体会是环境配置和数据处理占用了70%的时间真正调模型的时间只有30%。很多人觉得算法工程师就是调参其实大部分时间都在处理数据和排查环境问题。另一个体会是不要追求最新的模型。2019年YOLOv3已经足够好了2024年YOLOv11出来了但很多场景下YOLOv3依然能用。新模型带来的精度提升往往只有几个百分点但部署成本和调试成本可能翻倍。选模型的时候要考虑实际需求不是越新越好。最后一个体会是文档和注释比代码本身重要。我写过很多一次性代码跑完就扔了后来想复现的时候完全看不懂。现在养成了习惯每个项目都写README记录环境配置、数据准备、训练命令、推理命令。这些记录在几个月后回头看能省下大量时间。踩过几次坑之后我现在的做法是新项目先花半天时间搭环境、写数据加载、跑通一个最简单的baseline然后再逐步加功能。这个流程看起来慢但实际上比一上来就写复杂代码要快得多因为问题能及早发现不会积累到最后才爆发。
1. 这份干货集锦到底解决了什么问题2019年那会儿计算机视觉这个方向已经火得不行了但真正沉下心做技术沉淀的人其实不多。大部分刚入行的朋友面临一个很尴尬的局面网上教程满天飞公众号文章刷了一篇又一篇可真到要动手跑一个目标检测模型的时候连环境都搭不起来。CUDA和PyTorch版本对不上、OpenCV编译报错、数据集格式转来转去搞不明白——这些问题看起来琐碎但每一个都能卡住人一整天。这份“干货集锦分类汇总”本质上就是给这个阶段的从业者准备的一份索引式资料。它把2019年下半年散落在各个渠道的计算机视觉相关内容做了系统化整理覆盖了从环境搭建到模型训练再到部署落地的完整链路。核心关键词包括计算机视觉、TensorFlow、PyTorch、OpenCV和目标检测这几个词基本勾勒出了当时主流技术栈的全貌。适合谁来参考我的判断是三类人第一类是刚入门计算机视觉的学生或者转行开发者需要一条清晰的学习路径而不是零散的知识点第二类是有一定基础但工程经验不足的算法工程师想看看别人在实际项目中怎么选型、怎么避坑第三类是做计算机视觉大作业或者毕业设计的同学需要快速找到可复现的方案和数据集资源。这份集锦的价值不在于它提出了什么新算法而在于它把“踩过的坑”和“能跑通的方案”做了归类。你不需要从头翻几百篇文章按分类找到自己需要的部分就行。下面我按自己的理解把这份集锦涉及的核心内容拆开来讲同时补充一些当年实操中积累的经验。2. 环境搭建PyTorch和OpenCV的安装为什么总是出问题2.1 PyTorch环境搭建的版本匹配逻辑2019年下半年PyTorch已经更新到1.3版本左右但很多人还在用1.0或者0.4。版本差异带来的API变化不算大真正让人头疼的是CUDA版本、cuDNN版本和PyTorch版本三者之间的匹配关系。我当时在Ubuntu 18.04上装PyTorch第一次就翻车了。系统里预装的CUDA是9.0我直接pip install torch装完发现torch.cuda.is_available()返回False。查了半天才搞明白pip默认装的是CPU版本要装GPU版本必须指定对应的CUDA版本索引。正确的做法是这样的# 先确认系统CUDA版本 nvcc --version # 如果CUDA是10.0用这个命令 pip install torch1.3.0 torchvision0.4.1 -f https://download.pytorch.org/whl/torch_stable.html这里有个细节-f参数后面跟的URL是PyTorch官方的wheel文件索引页pip会根据你的Python版本和系统架构自动选择对应的包。如果你用的是CUDA 10.1就把URL里的cu100换成cu101。这个逻辑在Windows上是一样的只是路径和命令格式略有不同。注意不要同时用conda和pip安装PyTorch混用会导致依赖冲突。我试过一次conda装了pytorch后又用pip装torchvision结果import torch直接报DLL load failed。后来全部卸载重装才解决。2.2 OpenCV安装的三种方式与适用场景OpenCV的安装方式在2019年主要有三种pip安装预编译包、源码编译、conda安装。每种方式适合不同场景选错了会浪费大量时间。pip install opencv-python是最快的方式适合快速验证算法和做图像处理实验。但它有个限制不带CUDA加速也不包含一些专利算法比如SIFT在早期版本里被移到了contrib模块。如果你只是做基础的图像读取、缩放、边缘检测pip版本完全够用。源码编译适合需要CUDA加速或者要修改OpenCV源码的场景。编译过程大概需要30分钟到1小时取决于机器性能。关键步骤是cmake -D CMAKE_BUILD_TYPERELEASE \ -D CMAKE_INSTALL_PREFIX/usr/local \ -D WITH_CUDAON \ -D CUDA_ARCH_BIN7.5 \ -D WITH_CUDNNON \ -D OPENCV_EXTRA_MODULES_PATH../../opencv_contrib/modules \ ..CUDA_ARCH_BIN这个参数要根据你的显卡计算能力来填。比如RTX 2080 Ti是7.5GTX 1080 Ti是6.1。填错了编译能过但运行时会报no kernel image is available for execution on the device。这个坑我踩过当时用的是1080 Ti随手填了7.5结果跑SIFT的时候直接崩了。conda安装是折中方案conda install -c conda-forge opencv版本更新比pip慢一些但依赖管理更省心。适合用Anaconda管理环境的用户。2.3 常见报错与排查思路ModuleNotFoundError: No module named cv2这个报错太常见了。原因通常有三个一是根本没装OpenCV二是装了但装到了另一个Python环境里三是装了opencv-python但import的时候写成了import opencv。排查方法很简单在终端里执行pip list | grep opencv python -c import sys; print(sys.executable)第一条命令看OpenCV是否在已安装列表里第二条看当前Python解释器的路径。如果pip list里有opencv-python但import还是失败大概率是Python环境不一致。比如你在系统Python里装了但IDE用的是虚拟环境的解释器。cv2.error: OpenCV(4.4.0)这个报错信息通常后面会跟具体原因。我遇到最多的是图像路径包含中文或者图像本身损坏。OpenCV的imread函数在路径有中文时会返回None然后后续操作就报错。解决办法是用cv2.imdecode配合np.fromfile来读取import cv2 import numpy as np def read_image_chinese_path(path): img cv2.imdecode(np.fromfile(path, dtypenp.uint8), cv2.IMREAD_COLOR) return img这个函数能解决99%的中文路径问题实测有效。3. 目标检测从YOLO到Transformer的选型逻辑3.1 YOLO系列在2019年的实际表现2019年下半年YOLOv3还是目标检测领域的主力模型。YOLOv4要到2020年4月才发布所以当时讨论最多的就是YOLOv3和它的各种改进版本。YOLOv3的核心优势是速度快在Titan X上跑COCO数据集能达到30FPS以上mAP在33%左右。这个精度虽然比不上Faster R-CNN但速度优势太明显了适合实时检测场景。YOLOv3的网络结构用了Darknet-53作为骨干网络引入了残差连接和多尺度预测。多尺度预测是YOLOv3相比v2最大的改进它在三个不同尺度的特征图上做检测小尺度特征图负责检测大物体大尺度特征图负责检测小物体。这个设计思路后来被很多模型借鉴。实际部署YOLOv3的时候有几个参数需要特别注意。输入尺寸默认是416x416但可以改成608x608来提升小物体检测精度代价是速度下降大约40%。置信度阈值和NMS阈值需要根据具体场景调一般置信度阈值设在0.5左右NMS阈值设在0.45左右。如果是检测密集小目标NMS阈值要调低一些否则重叠的物体会被误删。实操心得YOLOv3的anchor box是基于COCO数据集聚类得到的如果你的数据集目标尺寸分布和COCO差异很大最好重新聚类生成anchor。我用k-means重新聚类后mAP提升了将近5个百分点。聚类代码在Darknet的scripts目录下有现成的。3.2 Transformer在目标检测中的早期探索2019年Transformer在目标检测领域还处于早期探索阶段。DETRDetection Transformer是Facebook在2020年才发表的但2019年下半年已经有一些工作在尝试把注意力机制引入检测任务。当时的主流做法是在CNN特征提取之后加注意力模块比如SE模块、CBAM模块而不是完全替换CNN。Transformer做目标检测的核心思路是用自注意力机制替代NMS后处理实现端到端的检测。这个想法很优雅但2019年的算力条件下训练成本太高。DETR需要训练500个epoch才能收敛而YOLOv3只需要几百个iteration就能看到效果。所以当时实际项目中用Transformer做检测的很少更多是在学术研究层面。如果你现在回头看那段时期会发现Transformer在视觉领域的爆发是有迹可循的。ViT在2020年发表Swin Transformer在2021年发表然后各种基于Transformer的检测模型才真正铺开。2019年下半年的这些探索算是为后面的爆发做了铺垫。3.3 目标检测数据集的选择与处理数据集这块2019年最常用的还是PASCAL VOC和COCO。VOC数据集小一些20个类别适合快速验证算法。COCO有80个类别30多万张图片适合做benchmark。如果是特定场景的检测任务比如鸟类目标检测就需要自己标注数据或者找相关的公开数据集。鸟类目标检测的数据集当时比较分散CUB-200-2011是细粒度分类数据集不是检测数据集。真正做鸟类检测的话可以用COCO里bird类别筛选出来大概有几千张图片。或者用Open Images Dataset里的鸟类标注数据量更大但标注质量参差不齐。数据格式转换是个体力活。VOC是XML格式COCO是JSON格式YOLO是txt格式。我写过一个转换脚本核心逻辑就是解析XML里的bndbox坐标然后归一化成YOLO需要的格式def voc_to_yolo(xml_path, img_w, img_h): tree ET.parse(xml_path) root tree.getroot() lines [] for obj in root.findall(object): cls_name obj.find(name).text bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) # 归一化 x_center (xmin xmax) / 2.0 / img_w y_center (ymin ymax) / 2.0 / img_h w (xmax - xmin) / img_w h (ymax - ymin) / img_h lines.append(f{cls_id} {x_center} {y_center} {w} {h}) return lines这个脚本看起来简单但实际用的时候要注意坐标越界的问题。有些标注的xmax超过了图像宽度直接归一化会得到大于1的值训练时会报错。加一个clip操作就能解决。4. 图像处理与三维视觉OpenCV的进阶用法4.1 solvePnP在三维目标检测中的应用solvePnP是OpenCV里做三维姿态估计的核心函数。它的作用是已知若干三维空间点和它们在图像上的二维投影点求解相机的位姿旋转向量和平移向量。这个函数在三维目标检测里非常关键因为很多三维检测方法都需要先估计物体的朝向。solvePnP有几种求解方法SOLVEPNP_ITERATIVE、SOLVEPNP_EPNP、SOLVEPNP_P3P等。ITERATIVE方法适合点数较多的情况EPNP适合点数较少的情况P3P需要恰好4个点。实际用的时候如果点数大于6个用ITERATIVE方法精度最高。我做过一个车辆三维姿态估计的项目用的是solvePnP加车辆三维模型。流程是这样的先检测车辆二维框然后在车辆模型上选取8个角点根据二维框的位置估计这8个角点在图像上的大致位置最后用solvePnP求解位姿。这个方法的精度取决于二维检测的准确度和角点估计的合理性。实测下来在车辆正对相机的时候精度不错但侧面角度大的时候误差会明显增大。注意solvePnP对噪声很敏感输入点如果有几个像素的误差输出的旋转矩阵可能偏差十几度。建议先用RANSAC做一轮外点剔除或者用多帧结果做平滑。4.2 搭建TF树坐标变换的实操要点TF树Transform Tree是ROS里的概念用来管理不同坐标系之间的变换关系。在机器人视觉项目里相机坐标系、机器人基座坐标系、世界坐标系之间的变换都需要用TF树来维护。搭建TF树的核心是确定坐标系之间的父子关系然后发布对应的变换。常见的坐标系关系是world - base_link - camera_link - camera_optical_frame。world是全局坐标系base_link是机器人本体坐标系camera_link是相机安装位置坐标系camera_optical_frame是相机光学坐标系Z轴朝前。发布变换的时候要注意时间戳如果时间戳对不上TF树会报错。import tf2_ros import geometry_msgs.msg br tf2_ros.TransformBroadcaster() t geometry_msgs.msg.TransformStamped() t.header.stamp rospy.Time.now() t.header.frame_id base_link t.child_frame_id camera_link t.transform.translation.x 0.1 t.transform.translation.y 0.0 t.transform.translation.z 0.5 t.transform.rotation.w 1.0 br.sendTransform(t)这段代码发布了一个从base_link到camera_link的静态变换。实际项目中相机通常是固定在机器人上的所以用static_transform_publisher更合适不需要每帧都发布。4.3 Halcon和OpenCV的差异与选择Halcon和OpenCV的区别本质上商业库和开源库的区别。Halcon在工业视觉领域用了很多年算法稳定性和精度都很高特别是亚像素边缘检测、形状匹配这些功能OpenCV确实比不了。但Halcon是收费的一个license好几万小项目根本用不起。OpenCV的优势是免费、社区活跃、文档丰富。虽然某些算法的精度不如Halcon但通过参数调优和预处理大部分场景也能满足需求。我个人的选择逻辑是如果项目预算充足且对精度要求极高比如半导体检测用Halcon如果是常规的视觉任务比如目标检测、图像分类OpenCV完全够用。Halcon还有一个优势是它的HDevelop环境可以交互式地调参和验证算法开发效率很高。OpenCV就没有这样的环境调参基本靠print和可视化。不过现在有一些第三方工具可以弥补这个不足比如用Jupyter Notebook做交互式开发。5. 模型部署与格式转换的实战经验5.1 PyTorch转ONNX的坑与解决方案PyTorch转ONNX是模型部署的常见需求。ONNX格式通用性好可以被TensorRT、OpenVINO等推理引擎加载。但转换过程经常出问题最常见的是算子不支持。PyTorch转ONNX的核心代码很简单import torch import torch.onnx dummy_input torch.randn(1, 3, 416, 416) torch.onnx.export(model, dummy_input, model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}})dynamic_axes参数很重要它指定了哪些维度是动态的。如果不设置导出的ONNX模型batch size固定为1推理时换batch size就会报错。算子不支持的问题通常出现在自定义层或者一些新出的算子上。比如PyTorch的adaptive pooling在某些版本里转ONNX会报错。解决办法是用固定尺寸的pooling替代或者自己写一个ONNX兼容的实现。还有一个坑是PyTorch和ONNX的版本匹配。PyTorch 1.3对应ONNX opset 11PyTorch 1.4对应opset 12。如果opset版本选低了一些算子不支持选高了推理引擎可能还不支持。我一般用opset 11兼容性最好。5.2 CUDA和PyTorch版本适配的排查方法CUDA和PyTorch版本不匹配是环境搭建阶段最常见的坑。排查方法分三步第一步确认系统CUDA版本。nvcc --version看编译版本nvidia-smi看驱动支持的版本。这两个可能不一样以nvidia-smi显示的为准因为驱动版本决定了能跑的最高CUDA版本。第二步确认PyTorch编译时用的CUDA版本。在Python里执行import torch print(torch.version.cuda) print(torch.cuda.is_available())如果torch.version.cuda显示10.0但系统CUDA是10.1一般也能用因为CUDA有向前兼容性。但如果显示None说明装的是CPU版本。第三步如果torch.cuda.is_available()返回False检查驱动版本是否满足PyTorch要求。PyTorch 1.3要求驱动版本至少是410.x低于这个版本需要升级驱动。实操心得我习惯用conda创建独立环境每个项目一个环境避免版本冲突。conda install pytorch torchvision cudatoolkit10.0 -c pytorch这条命令会自动处理CUDA版本匹配比pip省心。5.3 模型推理性能优化的几个方向模型推理性能优化在2019年主要围绕几个方向量化、剪枝、知识蒸馏、TensorRT加速。量化是把FP32的权重和激活值转成INT8模型大小减少75%推理速度提升2-4倍。PyTorch支持动态量化和静态量化动态量化适合LSTM和Linear层静态量化适合CNN。量化后的精度损失一般在1%以内但有些模型对量化很敏感精度可能掉5%以上。剪枝是去掉模型中不重要的权重或通道。结构化剪枝去掉整个通道可以直接减少计算量非结构化剪枝去掉单个权重需要稀疏矩阵运算支持才能加速。实际项目中结构化剪枝更实用。TensorRT是NVIDIA的推理加速库对YOLOv3的加速效果很明显。FP32转FP16后速度提升大约2倍转INT8后提升3-4倍。但TensorRT的INT8量化需要校准数据集校准集的质量直接影响量化精度。知识蒸馏是用大模型教小模型让小模型达到接近大模型的精度。这个方向在2019年很火但实际落地的不多因为蒸馏的训练成本不比直接训练小模型低。6. 常见问题速查与避坑指南6.1 环境配置类问题速查表问题现象可能原因解决方案torch.cuda.is_available()返回False装了CPU版本或CUDA版本不匹配卸载重装GPU版本检查CUDA版本import cv2报ModuleNotFoundError未安装或环境不一致pip install opencv-python检查Python解释器路径cv2.imread返回None路径含中文或文件损坏用imdecodefromfile读取nvcc --version和nvidia-smi版本不一致驱动版本和CUDA编译版本不同以nvidia-smi为准升级驱动或降级CUDApip安装时超时网络问题换国内源加--default-timeout1006.2 模型训练类问题排查训练不收敛是最让人头疼的问题。排查顺序一般是先看数据再看模型最后看超参数。数据方面检查标注是否正确、类别是否平衡、图像预处理是否合理。我遇到过一次训练loss一直不降查了半天发现是标注文件里的类别ID从1开始但代码里按0开始处理的导致所有标签都错位了。模型方面检查网络结构是否和预训练权重匹配。如果改了网络结构但加载了原始预训练权重某些层可能加载失败导致训练不稳定。用strictFalse加载然后打印哪些层没加载上。超参数方面学习率是最关键的。学习率太大loss会震荡太小收敛慢。一般从0.001开始试如果loss震荡就降到0.0001。batch size受显存限制但太小会导致BN层统计不准确一般至少设8。6.3 模型部署类问题排查部署阶段最常见的问题是推理结果和训练结果不一致。原因通常有几个预处理不一致、后处理不一致、数值精度差异。预处理不一致是最常见的。训练时用了归一化推理时忘了训练时用了RGB推理时用了BGR。这些细节一定要对齐。我习惯把预处理和后处理代码封装成独立的函数训练和推理共用同一份代码避免不一致。数值精度差异在FP16推理时比较明显。FP16的表示范围比FP32小某些激活值可能溢出。解决办法是用混合精度推理关键层保持FP32其他层用FP16。后处理不一致主要是NMS的参数。训练时用的NMS阈值和推理时不一样结果就会差很多。建议把NMS参数写在配置文件里训练和推理都从配置文件读取。6.4 独家避坑技巧汇总第一个技巧用Docker管理环境。Docker镜像可以固化所有依赖换机器的时候直接拉镜像不用重新配环境。我现在的习惯是每个项目一个Dockerfile基础镜像用nvidia/cuda:10.0-cudnn7-devel-ubuntu18.04然后在里面装PyTorch和OpenCV。第二个技巧训练前先跑一个mini batch。用少量数据跑几个iteration确认loss能下降、梯度能回传、显存不爆。这个步骤能提前发现大部分低级错误比直接跑完整训练再排查省时间。第三个技巧保存训练日志和配置文件。每次训练把超参数、数据路径、模型结构都记下来后面复现或者对比实验的时候不用靠回忆。我用TensorBoard记录loss曲线和指标用JSON保存配置文件。第四个技巧模型导出后一定要验证。PyTorch转ONNX后用ONNX Runtime跑一遍和PyTorch的输出对比。如果误差在1e-3以内说明转换成功如果误差很大说明某些算子转换有问题。第五个技巧数据增强不要过度。我见过有人用了十几种增强结果模型在验证集上表现很差。数据增强的目的是增加数据多样性不是越多越好。一般用随机翻转、随机裁剪、颜色抖动这几种就够了具体用哪些要根据数据集特点来定。7. 学习路径与资源推荐7.1 从零基础到项目实战的路线计算机视觉的学习路线我的建议是分四个阶段。第一阶段打基础学Python和数学。Python不用学太深掌握基本语法、numpy、matplotlib就行。数学重点学线性代数和概率论理解矩阵运算、特征值、贝叶斯公式这些概念。这个阶段大概需要1-2个月。第二阶段学深度学习和PyTorch。先看吴恩达的深度学习课程或者李沐的《动手学深度学习》然后跟着PyTorch官方教程写代码。重点理解卷积、池化、反向传播、优化器这些核心概念。这个阶段需要2-3个月。第三阶段做目标检测项目。从YOLOv3开始跑通训练和推理流程然后尝试换数据集、调参数、改网络结构。这个阶段需要1-2个月关键是动手不要只看不练。第四阶段深入某个方向。目标检测、图像分割、三维视觉、视频理解选一个自己感兴趣的方向深入。读论文、复现论文、参加比赛这个阶段没有终点持续学习就行。7.2 值得反复看的资源清单PyTorch官方教程是必看的特别是60分钟入门和迁移学习那两篇。OpenCV官方文档也是必备函数参数和示例代码都很全。YOLO的Darknet源码值得读一遍能理解目标检测的底层实现。论文方面YOLOv3、Faster R-CNN、SSD这三篇是目标检测的经典必读。Transformer那篇Attention is All You Need也建议读一下虽然2019年还没在视觉领域大规模应用但后面几年的发展都绕不开它。数据集方面COCO和VOC是标配Open Images Dataset数据量更大但下载慢。如果做特定场景可以找相关的公开数据集比如KITTI用于自动驾驶CUB-200用于细粒度分类。7.3 计算机视觉大作业的选题建议大作业选题要兼顾难度和工作量。太简单的题目体现不出水平太难的题目做不完。我的建议是选一个具体场景用现有模型做迁移学习或者改进。比如“基于YOLOv3的交通标志检测”数据集可以用TT100K或者GTSRB模型用YOLOv3预训练权重做fine-tune然后对比不同anchor设置对精度的影响。这个题目工作量适中有明确的评价指标也容易做出对比实验。或者“基于OpenCV的车道线检测”用传统图像处理方法不需要训练模型适合对深度学习不太熟悉的同学。核心是边缘检测、霍夫变换、透视变换这几个技术点调参空间大容易做出效果。选题的时候注意一点不要选太宽泛的题目比如“基于深度学习的图像识别”这个题目太大了做不深。要具体到某个任务、某个数据集、某个模型这样才能做出有深度的东西。7.4 我个人在实际操作中的体会做了几年计算机视觉的项目最大的体会是环境配置和数据处理占用了70%的时间真正调模型的时间只有30%。很多人觉得算法工程师就是调参其实大部分时间都在处理数据和排查环境问题。另一个体会是不要追求最新的模型。2019年YOLOv3已经足够好了2024年YOLOv11出来了但很多场景下YOLOv3依然能用。新模型带来的精度提升往往只有几个百分点但部署成本和调试成本可能翻倍。选模型的时候要考虑实际需求不是越新越好。最后一个体会是文档和注释比代码本身重要。我写过很多一次性代码跑完就扔了后来想复现的时候完全看不懂。现在养成了习惯每个项目都写README记录环境配置、数据准备、训练命令、推理命令。这些记录在几个月后回头看能省下大量时间。踩过几次坑之后我现在的做法是新项目先花半天时间搭环境、写数据加载、跑通一个最简单的baseline然后再逐步加功能。这个流程看起来慢但实际上比一上来就写复杂代码要快得多因为问题能及早发现不会积累到最后才爆发。
