焊接缺陷检测这件事我在这个圈子里摸爬滚打了几年看过太多传统视觉方案在现场翻车。早几年大家还在用边缘检测、阈值分割那套经典图像处理流程遇到背景干净、打光均匀的工件还能硬撑一下可一旦碰上飞溅、弧光、油污混杂的焊缝表面特征提取那一步就直接崩盘误检漏检高到现场工程师骂娘。后来深度学习开始渗透进工业视觉我最早是抱着怀疑态度去试的结果跑完一版基于卷积神经网络的检测模型之后服气了——那种把特征工程这个最头疼的环节直接扔给网络自己去学的思路对焊接这种表面纹理复杂、缺陷形态千奇百怪的场景确实是从根上解决问题。这篇文章就把我自己做的一个基于深度学习的焊接缺陷检测系统完完整整拆给你看从思路到数据到训练再到部署所有踩过的坑、调过的参、走过的弯路都写在里面了。适合刚接触工业视觉的算法工程师、做焊接质量管理的工艺人员以及想用Python落地一个真实检测Demo的在校学生。你不需要有非常深厚的深度学习理论功底跟着这篇文章的思路走一遍至少能把这个项目从零跑起来知道每一行配置、每一个参数背后到底在做什么。1. 项目整体思路与方案选型1.1 焊接缺陷检测到底难在哪里先说焊接缺陷本身。气孔、夹渣、未熔合、未焊透、裂纹、咬边、焊瘤这七大类是焊接工艺里最常见的外观缺陷每一种的形态差异极大。气孔是圆形或椭圆形暗斑夹渣是形状不规则的亮块裂纹细长且方向随机咬边沿着焊缝边缘走焊瘤则是大面积的金属凸起。你要用传统图像处理去提取特征就得为每一种缺陷单独设计滤波器、单独调阈值换一个工件材质、换一种焊接工艺整套参数全部作废。我在现场见过一个老师傅调一版规则要调两个星期调完换个批次又玩完。深度学习的思路完全不同。它不需要你人工定义什么特征而是把标注好的图像直接喂进去让卷积核自己去学缺陷的纹理模式、形状模式、对比度模式。这在面对缺陷形态不确定、背景干扰多的工业场景时优势是碾压性的。当前做目标检测的主流方案里两阶段的Faster R-CNN精度高但速度慢单阶段的YOLO系列把速度和精度平衡得最好SSD则介于两者之间。我做实际项目时优先选了YOLO系列原因很简单焊接检测不是离线分析是要挂在产线上跟着节拍跑的。YOLO在保证精度的前提下推理速度能跑到实时级别这是它能落地的最根本原因。1.2 系统架构与技术路径选择我做的这个系统整体分三块数据层、训练层、推理部署层。数据层负责采集焊接图像、标注缺陷区域、做数据增强训练层用PyTorch搭建YOLOv8模型在GPU上进行训练和验证推理层加载训练好的权重文件对新的焊接图像做实时检测输出带缺陷类别和置信度的标注结果。这三层之间的衔接全部用Python完成数据集用YOLO格式的TXT标注文件组织模型导出用ONNX或TorchScript打包方便后续接入工业相机和产线软件。技术路径上我反复对比过几个版本最后确定用YOLOv8。YOLOv5太老了C3结构在复杂缺陷小目标上的表现一般YOLOv7部署配置相对繁琐YOLOv8的C2f模块在特征融合上做得更细对气孔这种小目标缺陷的召回率比前代有明显提升。当然如果你是初学者从YOLOv5开始也不是不行社区资料多、出问题好搜。但既然要做焊接这个讲究小目标高精度的场景我直接建议你上YOLOv8省得后面再迁移一遍。方案精度表现推理速度工程复杂度适用场景Faster R-CNN高慢不满足实时中离线分析、弱实时要求SSD中中低通用检测、精度要求不高YOLOv5中高快低通用工业检测、入门首选YOLOv8高快低小目标缺陷、产线实时检测1.3 为什么坚持用Python整条链路这个项目从头到尾用的是Python。数据预处理用OpenCV读图、做增强、切分样本模型训练用PyTorch结果可视化用Matplotlib后期接入生产环境时还能用FastAPI包装成HTTP服务。Python的优势不在性能而在链路短。做工业项目最怕的是数据标注一个格式、训练一个语言、部署一个环境中间还要靠手工导来导去。Python把所有环节串在一个生态里这是效率上的巨大优势。至于推理速度瓶颈在模型结构不在语言YOLOv8导出成TensorRT部署时走的也是C的底层引擎Python只负责调度和解析结果完全够用。2. 数据准备与标注实操2.1 数据的来源与规模把控焊接缺陷检测里最常被低估的就是数据。有人觉得模型不行跑出来效果差第一反应是换网络结构其实多半是数据没吃饱、没吃对。我当时做这个项目用的是开源的CIS焊缝缺陷公开数据集包含约1500张焊接图像标注了气孔、夹渣、未熔合、未焊透、咬边这五类常见缺陷。每张图尺寸在1024x1024左右缺陷区域大小不一最小的气孔可能只有十几个像素这正好是检测的难点所在。如果说你自己的工业现场有私有数据那更好。用工业相机在产线上连续采集一周覆盖不同材质、不同焊接工艺、不同光照条件比任何公开数据集都管用。采集的时候注意一点尽量模拟实际生产中的全部工况不要只在理想打光下拍。否则模型训练时看着指标很高一上线就翻车因为现场的光照、烟尘、飞溅让图像分布完全变了。数据规模上我的体感是每一类缺陷至少要有200个以上的实例低于这个数量模型很难学稳就算加数据增强也救不回本质不足。2.2 标注规范与YOLO格式转换标注工具我推荐LabelImg虽然界面朴素但胜在轻量、稳定、导出方便。每一张图像标注完会生成一个同名的XML文件里面记录的是目标框的绝对坐标xmin、ymin、xmax、ymax。但YOLO训练需要的是归一化的中心点坐标和宽高格式是类别ID x_center y_center width height数值范围0到1。这个转换本身不难def convert_bbox_to_yolo(size, box): dw 1.0 / size[0] dh 1.0 / size[1] x (box[0] box[1]) / 2.0 y (box[2] box[3]) / 2.0 w box[1] - box[0] h box[3] - box[2] return (x * dw, y * dh, w * dw, h * dh)有一个非常容易被新手忽略的细节标注框一定要贴合缺陷边缘不要留太多背景。尤其是气孔和夹渣这种小缺陷框稍微大一点IoU就掉得厉害模型训练时正样本质量被稀释检测框偏大偏松的问题就会暴露。我吃过这个亏一开始标注偷懒框得很随意结果训练出来的模型预测框总比真实缺陷大一圈后来逐张重新标注问题立刻缓解。2.3 数据增强策略与切分原则焊接图像数据集的样本量普遍不大公开数据集能上千张就算不错自己采集也很难量大管饱。这时数据增强就是你要重点做的一篇文章。常用的增强手段我列在下面随机翻转水平翻转、垂直翻转适用于缺陷方向不敏感的类别但裂纹要注意翻转后方向变了但类别语义不变没问题。随机旋转范围控制在15度以内超过这个范围焊缝走向会失真。亮度对比度扰动模拟不同打光环境焊接弧光的强度波动很大这个增强非常关键。高斯噪声直接模拟现场图像传感器的自然噪声。Mosaic增强把4张图拼成一张YOLOv8内置支持对小目标检测尤其友好相当于变相提高了小目标的采样频率。增强之后别忘了一件同样重要的事——数据切分。切分时不能简单随机切最好按来源切。什么意思呢同一批焊接工艺、同一台相机拍出来的图像相似度太高如果一部分进了训练集、一部分进了验证集验证指标会虚高。按来源或者按时间顺序切分比如前80%做训练、后20%做验证才更贴近真实上线时见没见过这个工况的考核标准。3. 模型选型与核心原理拆解3.1 YOLOv8到底好在哪YOLOv8的检测头是Anchor-Free的设计也就是不再像旧版那样预设一堆不同尺寸的锚框而是直接预测目标的中心点和宽高。这个变化在焊接缺陷场景里特别有用。因为气孔可能只有10像素焊瘤可能有200像素同一个特征层要覆盖跨度这么大的尺寸Anchor-Free让模型自己去回归目标尺寸比固定锚框灵活得多。C2f模块把梯度流切得更碎、回传更充分对浅层细节特征的提取更细。缺陷边缘的纹理变化非常细腻如果特征提取不充分小目标非常容易漏。另一个值得说的是YOLOv8的多尺度预测。它有三个不同分辨率的输出层分别检测大、中、小目标。焊接缺陷场景里小目标占了相当大的比例气孔和夹渣动辄只有几十像素大小。多尺度预测加上Mosaic增强相当于给小缺陷加了餐这是它能在这个场景出效果的关键支撑。如果你用Faster R-CNN虽然精度上限更高但RPN对小目标的锚框设计需要精调代价不小工程上不如YOLO系列来得省心。3.2 训练流程与关键参数详解训练脚本我用ultralytics提供的YOLOv8框架简洁好用。核心代码如下from ultralytics import YOLO # 加载预训练模型COCO权重迁移学习强烈建议 model YOLO(yolov8s.pt) # 训练 model.train( datawelding_defect.yaml, # 自己的数据集配置 epochs150, imgsz640, batch16, lr00.01, lrf0.01, patience20, augmentTrue, workers8 )这里每一项参数都有讲究。先说imgsz640模型训练会把输入图像统一缩放到640x640。原图是1024的缩下来之后小缺陷变得更小所以不能贪省显存而设成416之类的小尺寸。batch16取决于显存大小我的是12GB16刚好稳定。batch太小的话BN层的统计量估计不准小样本下容易震荡。学习率用0.01起步配合余弦退火慢慢降到0.01倍也就是lrf0.01。更低的学习率会让模型在小数据集上更稳但训练速度慢太高则容易发散。patience20是早停机制20个epoch验证指标没有改善就自动停止防止无效训练烧显卡。这个我强烈建议留着有一次我不小心设了300个epoch跑到170多个epoch的时候早就收敛了纯属浪费电。3.3 训练过程的实时监控技巧训练时别光是盯着终端日志看loss。loss下降固然重要但那只是一个整体指标焊接缺陷这种多类别不均衡的场景一定要打开验证集的可视化结果自己用眼睛看。在训练命令里加上valTrueYOLOv8每轮验证结束会保存一批预测图上面画着预测框和真实框的对比。你要重点看的是小目标缺陷有没有被框到、框的位置是否紧贴缺陷边缘、有没有把飞溅误判成气孔这类问题。还有一个指标是P-R曲线精确率和召回率曲线。焊接检测是宁缺毋滥还是宁滥勿缺完全取决于你的工艺需求。如果漏检一个未熔合会导致整件结构强度出问题那你宁可误检率高一些也要把召回率拉满如果只是表面质量检查误检太多会增加人工复检工作量就要在精确率上多下功夫。这个平衡点在训练完成后可以根据P-R曲线选择一个合适的置信度阈值来调整不需要重新训练。4. 环境配置与训练实操记录4.1 软硬件环境清单我实际使用的硬件环境如下CPU12核内存32GBGPU12GB显存具体型号就不说了总之显存越高越从容操作系统Ubuntu 20.04软件环境里Python版本用3.9PyTorch用2.0以上版本CUDA用11.8。安装ultralytics库之前建议用conda建一个独立环境避免和系统其他Python包冲突。这一步我踩过坑直接在全局环境里装结果把OpenCV版本搞乱了OpenCV在Python里是最容易出兼容问题的一个包它的底层依赖和PyTorch的CUDA版本偶尔会打架。所以教训就一句话项目隔离环境隔离版本锁定。4.2 数据集配置文件的编写YOLOv8训练需要一份YAML格式的数据集配置。里面指定训练集、验证集的图片路径以及类别数量、类别名称path: /home/user/welding_defect_data train: images/train val: images/val nc: 5 names: [Porosity, Slag Inclusion, Incomplete Fusion, Incomplete Penetration, Undercut]这里有一个容易忽视的细节验证集的路径一定要指向真实标注的未参与训练的图片而不是训练集本身。有一次我把路径写错了train和val指向同一个文件夹训练过程val指标全程飘绿我还以为模型效果爆炸结果换到新图片上立刻现出原形全是在背答案。做项目的过程中这种低级错误最坑人排查起来也最费时间。4.3 训练过程性能实录我记录一下一次比较典型的训练过程。训练集1200张图像各类缺陷增强到2000多张epoch设置为150实际跑到137个epoch早停结束。整个训练过程耗时约半个多小时最终在验证集上的mAP50达到0.91mAP50-95在0.71左右。作为参考如果数据增强做得更充分mAP50能稳定在0.95以上但mAP50-95提升就比较缓慢了因为小目标的IoU计算对框的准确性要求极高差几个像素就会掉不少分。类别维度上气孔和夹渣这种小目标缺陷的AP相对低咬边和焊瘤因为面积大、边界清晰AP普遍更高。这是符合直觉的大目标容易学、小目标难学。如果你未来接手类似项目第一眼看到结果时建议先按类别拆分指标来看而不是只看汇总mAP这样才能知道模型真正的短板在哪里。5. 推理部署与性能优化5.1 模型导出与量化训练完模型之后直接拿PyTorch的权重文件去做推理不是不行但不专业。我实际部署时先把模型导出成ONNX格式再用TensorRT做加速部署环境里不装PyTorch只跑TensorRT的引擎文件。导出命令非常简单model.export(formatonnx, dynamicFalse)导出后务必做一次精度对比验证用同一批验证图片分别用PyTorch原模型和ONNX模型推理比较结果差异。正常情况下ONNX和PyTorch的输出基本一致如果差异明显多半是某个算子在转换时没有对齐。量化到FP16是焊接缺陷检测的甜点精度检测精度几乎无损但推理速度几乎翻倍。INT8量化要谨慎小目标的特征信息本来就少量化误差可能直接让它消失我试过一次INT8气孔漏检率明显上升果断放弃。5.2 推理脚本与结果输出部署时的推理脚本我放在下面这里已经加载了导出后的onnx模型import cv2 import onnxruntime as ort import numpy as np sess ort.InferenceSession(best_yolov8s.onnx, providers[CUDAExecutionProvider, CPUExecutionProvider]) def detect(image_path): img cv2.imread(image_path) img_resized cv2.resize(img, (640, 640)) blob img_resized[:, :, ::-1].transpose(2, 0, 1) # BGR转RGB并转成CHW blob np.expand_dims(blob, axis0).astype(np.float32) / 255.0 input_name sess.get_inputs()[0].name output sess.run(None, {input_name: blob})[0] # 解析output并做NMS后处理 # 这里省略NMS细节用torchvision.ops.nms或opencv dnn模块都可以实现 return boxes, scores, class_ids这个脚本里最容易错的是图像的预处理顺序。YOLOv8在训练时做了BGR到RGB的转换、归一化、letterbox填充推理阶段每一步都要对应上。RGB转换漏了的话模型看到的是颜色错乱的图缺陷的颜色纹理特征全部紊乱检测结果会差的离谱。这个细节如果不用心核对就会得到训练好模型但推理一塌糊涂的诡异现象。5.3 现场部署要考虑的工程问题实验室里跑通模型只是第一步真正上产线的坑完全不亚于训练模型。首先是相机的选型和软件的联动。工业相机的SDK一般是用C或Python封装采集一张图像的时间、曝光参数、触发模式都要和检测程序配合好。如果检测程序处理一张图要200毫秒而产线节拍是每秒一张那就要考虑用多线程异步方案采集线程和推理线程分离。温度漂移也是个容易被忽视的问题。工业现场夏天车间温度可能达到40度以上GPU运行时间长了之后温度升高有可能会降频导致推理延迟抖动严重时影响产线节拍。对此要么选工业级工控机配主动散热要么在算法层面降低单张推理耗时留出余量。6. 常见问题与排查技巧实录6.1 小目标缺陷漏检率居高不下这是焊接缺陷检测项目里被问得最多的问题。气孔往往只有十几个像素漏检原因大多是输入分辨率不足或者特征层对小目标响应不够。我的排查顺序是先检查训练时imgsz是否过小从640升到960小目标召回率能显著改善再确认Mosaic增强是否开启这个增强对小目标样本的补充效果非常明显最后检查标注框是否过大框太大在IoU计算时正样本质量差模型学不到精确位置。如果上述都调完仍然漏检那就需要增加小目标类别的样本数量或者复制粘贴增强把某个缺陷从一张图贴到另一张图上了。6.2 误检严重飞溅被识别为缺陷焊接过程不可避免产生飞溅形状和气孔、夹渣有一定相似度误检是常见问题。我最开始训练时飞溅误检率高到不能看但飞溅其实没有出现在标注里模型只见过缺陷和背景两类样本飞溅像素分布和缺陷太接近被判定成缺陷也情有可原。解法有两种路径在数据里补充大量带飞溅但无缺陷的图像标注成纯背景让模型在训练时看到这些不是缺陷的负样本。在标注时把飞溅单独标成一个类别或者用其他标签隔离让网络显式学习飞溅的特征。推理阶段加形态学规则过滤比如根据长宽比和面积范围筛掉过小或过细长的检测框。实际项目中增加负样本是最有效的手段。我第一次只标注了缺陷样本验证集有飞溅的图像误检率一度冲到18%增加负样本后直接压到2%以内。6.3 训练Loss不断震荡不收敛Loss震荡通常和数据集或者学习率有关。在小样本上尤其容易发生batch里随机抽到的图像如果缺陷类别差异过大梯度方向一会儿往东一会儿往西Loss就抖个不停。处理手段是我前面说的——降低初始学习率从0.01降到0.001这样梯度更新幅度小模型参数更稳定同时把batch调大让每个batch的样本分布更平均。如果显存不够大batch可以降低输入分辨率或者开梯度累积功能模拟更大的batch。6.4 数据集类别严重不均衡不同焊接缺陷的出现频率相差极大气孔和夹渣占了大头裂纹和未焊透可能只有很少的样本。训练时模型天然偏向样本多的类别导致少数类别AP极低。处理办法是先做类别加权在损失函数里给少数类更高的权重或者对少数类别做过采样一张图重复放进训练集几次再配合针对性增强。如果数据实在少可以试试复制粘贴增强——直接把少数类缺陷目标贴到其他图像上同时把新增的标注也写进去。这是一个非常实用的技巧我靠它把裂纹类别的AP从0.4拉到了0.8。6.5 推理速度不达标推理速度是部署环节最容易和精度产生矛盾的指标。流程就是先把模型导出成TensorRT用FP16精度跑我记得当时推理时间从80毫秒直接降到了25毫秒。还需要检查输入图像的预处理时间有时候瓶颈不在模型反而是OpenCV的仿射变换和缩放花了不少CPU时间。字体和坐标格式方面现场工人要看的不是bbox最好把缺陷类别和置信度直接画出在图像上并保存到本地日志方便追溯。7. 个人实际操作的体会与建议做这个项目给我最大的感触是焊接缺陷检测的难点从来不在模型而在数据和对场景的理解。模型本身是公开的、开源的任何人在GitHub上都能拉到代码跑起来但跑出来能不能落地取决于你对这个场景吃得透不透。比如你知道不同焊接工艺产生的飞溅形态不一样知道你用的相机动态范围在强弧光下会过曝知道现场送样频率和检测节拍的匹配关系——这些信息任何一篇论文里都不会教你只能靠扎在现场一点点积累。我在做完这个项目之后养成一个习惯每次训练完模型第一件事不是看mAP而是把验证集预测图全部过一遍找那些模型犯了低级错误的样本反推是数据问题还是模型问题比闷头调参高效得多。最后再分享一个小技巧保存模型的时候不要只保存最后一轮的权重把验证集mAP最高的那轮权重单独存一份用best.pt做推理。因为它大概率比最后一轮更稳定这也是行业里大家心照不宣的小默契。
焊接缺陷检测这件事我在这个圈子里摸爬滚打了几年看过太多传统视觉方案在现场翻车。早几年大家还在用边缘检测、阈值分割那套经典图像处理流程遇到背景干净、打光均匀的工件还能硬撑一下可一旦碰上飞溅、弧光、油污混杂的焊缝表面特征提取那一步就直接崩盘误检漏检高到现场工程师骂娘。后来深度学习开始渗透进工业视觉我最早是抱着怀疑态度去试的结果跑完一版基于卷积神经网络的检测模型之后服气了——那种把特征工程这个最头疼的环节直接扔给网络自己去学的思路对焊接这种表面纹理复杂、缺陷形态千奇百怪的场景确实是从根上解决问题。这篇文章就把我自己做的一个基于深度学习的焊接缺陷检测系统完完整整拆给你看从思路到数据到训练再到部署所有踩过的坑、调过的参、走过的弯路都写在里面了。适合刚接触工业视觉的算法工程师、做焊接质量管理的工艺人员以及想用Python落地一个真实检测Demo的在校学生。你不需要有非常深厚的深度学习理论功底跟着这篇文章的思路走一遍至少能把这个项目从零跑起来知道每一行配置、每一个参数背后到底在做什么。1. 项目整体思路与方案选型1.1 焊接缺陷检测到底难在哪里先说焊接缺陷本身。气孔、夹渣、未熔合、未焊透、裂纹、咬边、焊瘤这七大类是焊接工艺里最常见的外观缺陷每一种的形态差异极大。气孔是圆形或椭圆形暗斑夹渣是形状不规则的亮块裂纹细长且方向随机咬边沿着焊缝边缘走焊瘤则是大面积的金属凸起。你要用传统图像处理去提取特征就得为每一种缺陷单独设计滤波器、单独调阈值换一个工件材质、换一种焊接工艺整套参数全部作废。我在现场见过一个老师傅调一版规则要调两个星期调完换个批次又玩完。深度学习的思路完全不同。它不需要你人工定义什么特征而是把标注好的图像直接喂进去让卷积核自己去学缺陷的纹理模式、形状模式、对比度模式。这在面对缺陷形态不确定、背景干扰多的工业场景时优势是碾压性的。当前做目标检测的主流方案里两阶段的Faster R-CNN精度高但速度慢单阶段的YOLO系列把速度和精度平衡得最好SSD则介于两者之间。我做实际项目时优先选了YOLO系列原因很简单焊接检测不是离线分析是要挂在产线上跟着节拍跑的。YOLO在保证精度的前提下推理速度能跑到实时级别这是它能落地的最根本原因。1.2 系统架构与技术路径选择我做的这个系统整体分三块数据层、训练层、推理部署层。数据层负责采集焊接图像、标注缺陷区域、做数据增强训练层用PyTorch搭建YOLOv8模型在GPU上进行训练和验证推理层加载训练好的权重文件对新的焊接图像做实时检测输出带缺陷类别和置信度的标注结果。这三层之间的衔接全部用Python完成数据集用YOLO格式的TXT标注文件组织模型导出用ONNX或TorchScript打包方便后续接入工业相机和产线软件。技术路径上我反复对比过几个版本最后确定用YOLOv8。YOLOv5太老了C3结构在复杂缺陷小目标上的表现一般YOLOv7部署配置相对繁琐YOLOv8的C2f模块在特征融合上做得更细对气孔这种小目标缺陷的召回率比前代有明显提升。当然如果你是初学者从YOLOv5开始也不是不行社区资料多、出问题好搜。但既然要做焊接这个讲究小目标高精度的场景我直接建议你上YOLOv8省得后面再迁移一遍。方案精度表现推理速度工程复杂度适用场景Faster R-CNN高慢不满足实时中离线分析、弱实时要求SSD中中低通用检测、精度要求不高YOLOv5中高快低通用工业检测、入门首选YOLOv8高快低小目标缺陷、产线实时检测1.3 为什么坚持用Python整条链路这个项目从头到尾用的是Python。数据预处理用OpenCV读图、做增强、切分样本模型训练用PyTorch结果可视化用Matplotlib后期接入生产环境时还能用FastAPI包装成HTTP服务。Python的优势不在性能而在链路短。做工业项目最怕的是数据标注一个格式、训练一个语言、部署一个环境中间还要靠手工导来导去。Python把所有环节串在一个生态里这是效率上的巨大优势。至于推理速度瓶颈在模型结构不在语言YOLOv8导出成TensorRT部署时走的也是C的底层引擎Python只负责调度和解析结果完全够用。2. 数据准备与标注实操2.1 数据的来源与规模把控焊接缺陷检测里最常被低估的就是数据。有人觉得模型不行跑出来效果差第一反应是换网络结构其实多半是数据没吃饱、没吃对。我当时做这个项目用的是开源的CIS焊缝缺陷公开数据集包含约1500张焊接图像标注了气孔、夹渣、未熔合、未焊透、咬边这五类常见缺陷。每张图尺寸在1024x1024左右缺陷区域大小不一最小的气孔可能只有十几个像素这正好是检测的难点所在。如果说你自己的工业现场有私有数据那更好。用工业相机在产线上连续采集一周覆盖不同材质、不同焊接工艺、不同光照条件比任何公开数据集都管用。采集的时候注意一点尽量模拟实际生产中的全部工况不要只在理想打光下拍。否则模型训练时看着指标很高一上线就翻车因为现场的光照、烟尘、飞溅让图像分布完全变了。数据规模上我的体感是每一类缺陷至少要有200个以上的实例低于这个数量模型很难学稳就算加数据增强也救不回本质不足。2.2 标注规范与YOLO格式转换标注工具我推荐LabelImg虽然界面朴素但胜在轻量、稳定、导出方便。每一张图像标注完会生成一个同名的XML文件里面记录的是目标框的绝对坐标xmin、ymin、xmax、ymax。但YOLO训练需要的是归一化的中心点坐标和宽高格式是类别ID x_center y_center width height数值范围0到1。这个转换本身不难def convert_bbox_to_yolo(size, box): dw 1.0 / size[0] dh 1.0 / size[1] x (box[0] box[1]) / 2.0 y (box[2] box[3]) / 2.0 w box[1] - box[0] h box[3] - box[2] return (x * dw, y * dh, w * dw, h * dh)有一个非常容易被新手忽略的细节标注框一定要贴合缺陷边缘不要留太多背景。尤其是气孔和夹渣这种小缺陷框稍微大一点IoU就掉得厉害模型训练时正样本质量被稀释检测框偏大偏松的问题就会暴露。我吃过这个亏一开始标注偷懒框得很随意结果训练出来的模型预测框总比真实缺陷大一圈后来逐张重新标注问题立刻缓解。2.3 数据增强策略与切分原则焊接图像数据集的样本量普遍不大公开数据集能上千张就算不错自己采集也很难量大管饱。这时数据增强就是你要重点做的一篇文章。常用的增强手段我列在下面随机翻转水平翻转、垂直翻转适用于缺陷方向不敏感的类别但裂纹要注意翻转后方向变了但类别语义不变没问题。随机旋转范围控制在15度以内超过这个范围焊缝走向会失真。亮度对比度扰动模拟不同打光环境焊接弧光的强度波动很大这个增强非常关键。高斯噪声直接模拟现场图像传感器的自然噪声。Mosaic增强把4张图拼成一张YOLOv8内置支持对小目标检测尤其友好相当于变相提高了小目标的采样频率。增强之后别忘了一件同样重要的事——数据切分。切分时不能简单随机切最好按来源切。什么意思呢同一批焊接工艺、同一台相机拍出来的图像相似度太高如果一部分进了训练集、一部分进了验证集验证指标会虚高。按来源或者按时间顺序切分比如前80%做训练、后20%做验证才更贴近真实上线时见没见过这个工况的考核标准。3. 模型选型与核心原理拆解3.1 YOLOv8到底好在哪YOLOv8的检测头是Anchor-Free的设计也就是不再像旧版那样预设一堆不同尺寸的锚框而是直接预测目标的中心点和宽高。这个变化在焊接缺陷场景里特别有用。因为气孔可能只有10像素焊瘤可能有200像素同一个特征层要覆盖跨度这么大的尺寸Anchor-Free让模型自己去回归目标尺寸比固定锚框灵活得多。C2f模块把梯度流切得更碎、回传更充分对浅层细节特征的提取更细。缺陷边缘的纹理变化非常细腻如果特征提取不充分小目标非常容易漏。另一个值得说的是YOLOv8的多尺度预测。它有三个不同分辨率的输出层分别检测大、中、小目标。焊接缺陷场景里小目标占了相当大的比例气孔和夹渣动辄只有几十像素大小。多尺度预测加上Mosaic增强相当于给小缺陷加了餐这是它能在这个场景出效果的关键支撑。如果你用Faster R-CNN虽然精度上限更高但RPN对小目标的锚框设计需要精调代价不小工程上不如YOLO系列来得省心。3.2 训练流程与关键参数详解训练脚本我用ultralytics提供的YOLOv8框架简洁好用。核心代码如下from ultralytics import YOLO # 加载预训练模型COCO权重迁移学习强烈建议 model YOLO(yolov8s.pt) # 训练 model.train( datawelding_defect.yaml, # 自己的数据集配置 epochs150, imgsz640, batch16, lr00.01, lrf0.01, patience20, augmentTrue, workers8 )这里每一项参数都有讲究。先说imgsz640模型训练会把输入图像统一缩放到640x640。原图是1024的缩下来之后小缺陷变得更小所以不能贪省显存而设成416之类的小尺寸。batch16取决于显存大小我的是12GB16刚好稳定。batch太小的话BN层的统计量估计不准小样本下容易震荡。学习率用0.01起步配合余弦退火慢慢降到0.01倍也就是lrf0.01。更低的学习率会让模型在小数据集上更稳但训练速度慢太高则容易发散。patience20是早停机制20个epoch验证指标没有改善就自动停止防止无效训练烧显卡。这个我强烈建议留着有一次我不小心设了300个epoch跑到170多个epoch的时候早就收敛了纯属浪费电。3.3 训练过程的实时监控技巧训练时别光是盯着终端日志看loss。loss下降固然重要但那只是一个整体指标焊接缺陷这种多类别不均衡的场景一定要打开验证集的可视化结果自己用眼睛看。在训练命令里加上valTrueYOLOv8每轮验证结束会保存一批预测图上面画着预测框和真实框的对比。你要重点看的是小目标缺陷有没有被框到、框的位置是否紧贴缺陷边缘、有没有把飞溅误判成气孔这类问题。还有一个指标是P-R曲线精确率和召回率曲线。焊接检测是宁缺毋滥还是宁滥勿缺完全取决于你的工艺需求。如果漏检一个未熔合会导致整件结构强度出问题那你宁可误检率高一些也要把召回率拉满如果只是表面质量检查误检太多会增加人工复检工作量就要在精确率上多下功夫。这个平衡点在训练完成后可以根据P-R曲线选择一个合适的置信度阈值来调整不需要重新训练。4. 环境配置与训练实操记录4.1 软硬件环境清单我实际使用的硬件环境如下CPU12核内存32GBGPU12GB显存具体型号就不说了总之显存越高越从容操作系统Ubuntu 20.04软件环境里Python版本用3.9PyTorch用2.0以上版本CUDA用11.8。安装ultralytics库之前建议用conda建一个独立环境避免和系统其他Python包冲突。这一步我踩过坑直接在全局环境里装结果把OpenCV版本搞乱了OpenCV在Python里是最容易出兼容问题的一个包它的底层依赖和PyTorch的CUDA版本偶尔会打架。所以教训就一句话项目隔离环境隔离版本锁定。4.2 数据集配置文件的编写YOLOv8训练需要一份YAML格式的数据集配置。里面指定训练集、验证集的图片路径以及类别数量、类别名称path: /home/user/welding_defect_data train: images/train val: images/val nc: 5 names: [Porosity, Slag Inclusion, Incomplete Fusion, Incomplete Penetration, Undercut]这里有一个容易忽视的细节验证集的路径一定要指向真实标注的未参与训练的图片而不是训练集本身。有一次我把路径写错了train和val指向同一个文件夹训练过程val指标全程飘绿我还以为模型效果爆炸结果换到新图片上立刻现出原形全是在背答案。做项目的过程中这种低级错误最坑人排查起来也最费时间。4.3 训练过程性能实录我记录一下一次比较典型的训练过程。训练集1200张图像各类缺陷增强到2000多张epoch设置为150实际跑到137个epoch早停结束。整个训练过程耗时约半个多小时最终在验证集上的mAP50达到0.91mAP50-95在0.71左右。作为参考如果数据增强做得更充分mAP50能稳定在0.95以上但mAP50-95提升就比较缓慢了因为小目标的IoU计算对框的准确性要求极高差几个像素就会掉不少分。类别维度上气孔和夹渣这种小目标缺陷的AP相对低咬边和焊瘤因为面积大、边界清晰AP普遍更高。这是符合直觉的大目标容易学、小目标难学。如果你未来接手类似项目第一眼看到结果时建议先按类别拆分指标来看而不是只看汇总mAP这样才能知道模型真正的短板在哪里。5. 推理部署与性能优化5.1 模型导出与量化训练完模型之后直接拿PyTorch的权重文件去做推理不是不行但不专业。我实际部署时先把模型导出成ONNX格式再用TensorRT做加速部署环境里不装PyTorch只跑TensorRT的引擎文件。导出命令非常简单model.export(formatonnx, dynamicFalse)导出后务必做一次精度对比验证用同一批验证图片分别用PyTorch原模型和ONNX模型推理比较结果差异。正常情况下ONNX和PyTorch的输出基本一致如果差异明显多半是某个算子在转换时没有对齐。量化到FP16是焊接缺陷检测的甜点精度检测精度几乎无损但推理速度几乎翻倍。INT8量化要谨慎小目标的特征信息本来就少量化误差可能直接让它消失我试过一次INT8气孔漏检率明显上升果断放弃。5.2 推理脚本与结果输出部署时的推理脚本我放在下面这里已经加载了导出后的onnx模型import cv2 import onnxruntime as ort import numpy as np sess ort.InferenceSession(best_yolov8s.onnx, providers[CUDAExecutionProvider, CPUExecutionProvider]) def detect(image_path): img cv2.imread(image_path) img_resized cv2.resize(img, (640, 640)) blob img_resized[:, :, ::-1].transpose(2, 0, 1) # BGR转RGB并转成CHW blob np.expand_dims(blob, axis0).astype(np.float32) / 255.0 input_name sess.get_inputs()[0].name output sess.run(None, {input_name: blob})[0] # 解析output并做NMS后处理 # 这里省略NMS细节用torchvision.ops.nms或opencv dnn模块都可以实现 return boxes, scores, class_ids这个脚本里最容易错的是图像的预处理顺序。YOLOv8在训练时做了BGR到RGB的转换、归一化、letterbox填充推理阶段每一步都要对应上。RGB转换漏了的话模型看到的是颜色错乱的图缺陷的颜色纹理特征全部紊乱检测结果会差的离谱。这个细节如果不用心核对就会得到训练好模型但推理一塌糊涂的诡异现象。5.3 现场部署要考虑的工程问题实验室里跑通模型只是第一步真正上产线的坑完全不亚于训练模型。首先是相机的选型和软件的联动。工业相机的SDK一般是用C或Python封装采集一张图像的时间、曝光参数、触发模式都要和检测程序配合好。如果检测程序处理一张图要200毫秒而产线节拍是每秒一张那就要考虑用多线程异步方案采集线程和推理线程分离。温度漂移也是个容易被忽视的问题。工业现场夏天车间温度可能达到40度以上GPU运行时间长了之后温度升高有可能会降频导致推理延迟抖动严重时影响产线节拍。对此要么选工业级工控机配主动散热要么在算法层面降低单张推理耗时留出余量。6. 常见问题与排查技巧实录6.1 小目标缺陷漏检率居高不下这是焊接缺陷检测项目里被问得最多的问题。气孔往往只有十几个像素漏检原因大多是输入分辨率不足或者特征层对小目标响应不够。我的排查顺序是先检查训练时imgsz是否过小从640升到960小目标召回率能显著改善再确认Mosaic增强是否开启这个增强对小目标样本的补充效果非常明显最后检查标注框是否过大框太大在IoU计算时正样本质量差模型学不到精确位置。如果上述都调完仍然漏检那就需要增加小目标类别的样本数量或者复制粘贴增强把某个缺陷从一张图贴到另一张图上了。6.2 误检严重飞溅被识别为缺陷焊接过程不可避免产生飞溅形状和气孔、夹渣有一定相似度误检是常见问题。我最开始训练时飞溅误检率高到不能看但飞溅其实没有出现在标注里模型只见过缺陷和背景两类样本飞溅像素分布和缺陷太接近被判定成缺陷也情有可原。解法有两种路径在数据里补充大量带飞溅但无缺陷的图像标注成纯背景让模型在训练时看到这些不是缺陷的负样本。在标注时把飞溅单独标成一个类别或者用其他标签隔离让网络显式学习飞溅的特征。推理阶段加形态学规则过滤比如根据长宽比和面积范围筛掉过小或过细长的检测框。实际项目中增加负样本是最有效的手段。我第一次只标注了缺陷样本验证集有飞溅的图像误检率一度冲到18%增加负样本后直接压到2%以内。6.3 训练Loss不断震荡不收敛Loss震荡通常和数据集或者学习率有关。在小样本上尤其容易发生batch里随机抽到的图像如果缺陷类别差异过大梯度方向一会儿往东一会儿往西Loss就抖个不停。处理手段是我前面说的——降低初始学习率从0.01降到0.001这样梯度更新幅度小模型参数更稳定同时把batch调大让每个batch的样本分布更平均。如果显存不够大batch可以降低输入分辨率或者开梯度累积功能模拟更大的batch。6.4 数据集类别严重不均衡不同焊接缺陷的出现频率相差极大气孔和夹渣占了大头裂纹和未焊透可能只有很少的样本。训练时模型天然偏向样本多的类别导致少数类别AP极低。处理办法是先做类别加权在损失函数里给少数类更高的权重或者对少数类别做过采样一张图重复放进训练集几次再配合针对性增强。如果数据实在少可以试试复制粘贴增强——直接把少数类缺陷目标贴到其他图像上同时把新增的标注也写进去。这是一个非常实用的技巧我靠它把裂纹类别的AP从0.4拉到了0.8。6.5 推理速度不达标推理速度是部署环节最容易和精度产生矛盾的指标。流程就是先把模型导出成TensorRT用FP16精度跑我记得当时推理时间从80毫秒直接降到了25毫秒。还需要检查输入图像的预处理时间有时候瓶颈不在模型反而是OpenCV的仿射变换和缩放花了不少CPU时间。字体和坐标格式方面现场工人要看的不是bbox最好把缺陷类别和置信度直接画出在图像上并保存到本地日志方便追溯。7. 个人实际操作的体会与建议做这个项目给我最大的感触是焊接缺陷检测的难点从来不在模型而在数据和对场景的理解。模型本身是公开的、开源的任何人在GitHub上都能拉到代码跑起来但跑出来能不能落地取决于你对这个场景吃得透不透。比如你知道不同焊接工艺产生的飞溅形态不一样知道你用的相机动态范围在强弧光下会过曝知道现场送样频率和检测节拍的匹配关系——这些信息任何一篇论文里都不会教你只能靠扎在现场一点点积累。我在做完这个项目之后养成一个习惯每次训练完模型第一件事不是看mAP而是把验证集预测图全部过一遍找那些模型犯了低级错误的样本反推是数据问题还是模型问题比闷头调参高效得多。最后再分享一个小技巧保存模型的时候不要只保存最后一轮的权重把验证集mAP最高的那轮权重单独存一份用best.pt做推理。因为它大概率比最后一轮更稳定这也是行业里大家心照不宣的小默契。
