简介语义分割是计算机视觉中的核心任务通过对图像进行像素级分类能够精确刻画目标对象的边界与轮廓。在工业质检场景中深度学习与语义分割的结合为解决复杂表面缺陷检测提供了新路径。传统目标检测仅能输出粗略的边界框而语义分割可区分每一像素的类别尤其适用于钢材表面缺陷中多类小目标交织、边界模糊的难题。实际工程中模型选型与损失函数设计至关重要U-Net凭借跳跃连接保持了良好的细节信息配合加权交叉熵与Dice Loss可有效应对类别不平衡同时数据增强、标注规范以及Model部署均直接影响最终效果。这一技术路线已在钢材表面缺陷检测中得到验证其方法也适用于其他工业视觉检测场景助力实现自动化、高精度的质量管控。 开头得从现场说起。我第一次拿到钢材缺陷分割这个项目时第一反应不是选什么模型而是被一个数据问题困住了——产线上的老师傅指着一段表面说“这是麻点”翻到监控画面里同一种形貌却叫“氧化铁皮”。同一张图不同人标出来的区域能差出三分之一。那一刻我就明白这个项目的成败根本不只在模型而是在“怎么定义缺陷”这件事上。先说清楚这个项目是什么钢材表面缺陷语义分割用深度学习模型对钢板表面图像做逐像素分类区分出划痕、麻点、氧化皮等多类缺陷区域。输入是一张表面灰度图或彩色图输出是一张和原图等尺寸的mask每个像素点都有明确的类别标签。相比传统的Faster R-CNN、YOLO这类目标检测框语义分割能给出缺陷的精细轮廓这对后续的缺陷面积统计、等级评定、质量追溯都有直接价值。适合正在做工业视觉检测、需要从检测框升级到像素级分割、或者刚开始接触语义分割想找真实工业场景练手的同学参考。本文选型、训练、评估、部署的所有细节都基于一份约4100张表面图像、包含多类缺陷标注的数据集展开数据和场景贴合实际产线检测需求不是那种学术数据集上刷分、到现场就废的项目。1. 缺陷分割任务的基本盘4100张数据能做什么不能做什么1.1 工业表面缺陷到底长什么样钢材表面缺陷最棘手的地方是“像”。不像自然图像里猫和狗差异那么大钢板表面的缺陷类别常常只有细微的纹理差别。这里按业内常用的分类口径拆一下氧化铁皮rolled-in scale深灰或黑色块状区域和基体有明显边界但形状不规则容易出现整片连在一起的情况。斑块patches表面发暗的片状区域边界模糊灰度值变化不大是分割难度较高的类别。开裂crazing典型的细小裂纹呈网状或条状分布面积小、线条细是目标检测框最容易漏的类别对语义分割模型的细节保持能力考验极大。麻面pitted surface密集的凹坑群形似橘子皮单坑很小分割时容易被误判为噪声。夹杂物inclusion深色颗粒状嵌入物尺寸不一有的和氧化铁皮外观接近类间混淆严重。划痕scratches细长条状缺陷方向随机和开裂的区分点是形态和走向。多类别分割的难点就在这里模型不仅要判断“这里有没有缺陷”还要判断“这到底是哪一种缺陷”。两个任务叠在一起对训练数据的质量和数量要求就上来了。1.2 4100张数据在这个任务里意味着什么先说结论4100张图像配像素级标签在工业缺陷分割领域已经是相当可用的数据规模。公开的钢材表面数据集NEU-DET含1800张左右的图像但主要是检测框标签像素级分割标签很少。我做的这个项目数据规模接近它的两倍且有逐像素标注这对监督学习来说是很扎实的基础。但也要说清楚边界。4100张不是万能的它够不够用取决于几个变量类别均衡性如果六类缺陷样本分布是3000张划痕、200张夹杂物那夹杂物这类就会吃大亏。后面我会讲怎么在数据层面做均衡。场景多样性是不是涵盖了不同光照、不同表面粗糙度、不同钢种如果数据都是同一时段、同一产线采集的模型上线遇到新钢种就可能翻车。标注精细度边界标得越细模型学到的边界就越准。很多数据集标注时只框出大概区域这对分割训练是灾难性的。所以4100张是一个“能撑起模型”的量但前提是数据组织方式科学。实际项目中我一般会把数据集按类别分层抽样划分为训练集、验证集和测试集比例在8:1:1到7:2:1之间。划分时千万不能随机切必须保证每类缺陷在三个集合里都有分布否则验证集上看着效果很好到了测试集就懵。2. 标注口径与数据预处理这门手艺的隐形门槛2.1 标注规范比标注工具重要十倍做分割项目大家通常先纠结用什么标注工具我却觉得标注规范才是该项目第一个要定死的制度。很多初学同学直接拿LabelMe开画一个缺陷随手一圈边界能偏出十几个像素。这在自然场景无伤大雅但在钢材缺陷检测里缺陷区域往往只占整图的1%甚至更少边界偏几个像素IoU就掉好几个点。尤其是开裂这类细线缺陷边界稍微标粗一点模型最后学出来的区域就会比真实缺陷大一圈产线上就会认为这个模型“乱报警”。我建议的标注规范是缺陷边界必须贴着视觉上的灰度突变位置画宁可少圈一点再修不要一开始就图省事框大框。整块连续区域只标注一次不在一个缺陷内断开画多个多边形。两个缺陷靠得很近但明显不相连时中间至少留出2个像素的间隔不能随手连成一片。每张图必须经过第二个人复核复核重点是边界是否过粗、类别是否误标。这些规范看起来琐碎实际跑下来会直接影响分割模型的边界质量和类别准确率。如果项目里标注人数多建议先让两个人各标10张图计算一下一致性例如逐像素的Dice把标注差异拉齐后再大批量开工。2.2 标注工具选型与半自动预标注工具方面我推荐三条路线按项目预算和人力来选手工标注X-AnyLabeling或LabelMe。X-AnyLabeling集成了不少辅助功能比如交互式分割模型点几下就能给出一个初始mask人工只需修正边缘。这个工具对密集缺陷场景特别友好比纯手工多边形快很多。半自动预标注SAMSegment Anything或EISeg。用SAM对图像做通用分割把缺陷区域一次性切出来再人工筛选、合并、改类别。钢材表面这种纹理复杂图像SAM有时会把背景纹理也切成很多碎片筛选工作量不小但整体还是能省时间的。全人工标注只在数据量特别少时推荐比如几百张以内的冷启动阶段。实际操作中最顺的方案是先用SAM等模型跑一遍预标注把明显的缺陷区域自动生成polygon然后导入X-AnyLabeling人工修正。针对细长缺陷、密集小缺陷等困难区域再做一遍局部裁剪修正。整个流程下来一张图标注时间能控制在2-5分钟4100张图在不加班的前提下两周左右可以完成一轮。2.3 数据增强增强的不是数量是泛化性训练阶段我做了以下几类增强按优先级排序随机裁剪crop这个项目尤其重要。原图如果分辨率较高比如3000x3000直接resize到512x512缺陷细节会丢得很严重尤其细线开裂这种类别。我的做法是训练时随机裁剪512x512或256x256的patch让模型能看清缺陷的细部纹理同时相当于把每张图扩充成几十个训练样本。几何增强随机水平翻转、垂直翻转、90度旋转。注意不是所有缺陷都适合旋转比如划痕有明确方向性过度旋转会让模型学到错误的方向先验。钢材表面缺陷方向本身随机可以转但如果只做垂直检测的直线划痕场景翻转和旋转就要克制。光度增强随机亮度、对比度、饱和度调整。钢材表面光照波动大这一步不能省但幅度不要太大灰度值加减范围控制在原有像素值的10%-20%以内即可否则会引入不存在的表面纹理。CutMix或MixUp对缺陷类别不均衡有一定帮助但我实测下来对工业图像的效果不如自然图像那么惊艳。其原因可能是缺陷和背景纹理高度相关硬拼图会破坏上下文。所以我在这个项目里没有用混合增强而是靠类别加权解决不均衡。3. 模型选型怎么在U-Net、DeepLabV3和轻量级网络之间做取舍3.1 任务特性对模型提出了什么要求钢材缺陷分割对模型有三大约束细节保持能力、类别区分能力、推理速度。前两点决定算法能不能把细小的开裂、麻面分对第三点决定产线上能不能跑起来。细节保持缺陷普遍是小目标模型必须保留下采样过程中的空间信息。一些过度使用池化、大步长卷积的模型很容易把小缺陷“磨掉”。类别区分不同缺陷类别的外观差距不大需要网络提取较高的语义特征同时不能丢失局部纹理细节。推理速度如果产线节拍要求每秒处理几张图模型单张推理时间必须控制在几十毫秒级。重型模型即使精度再高部署时也得砍。3.2 三个候选方案的实测对比我在这个项目中重点对比了三个结构U-NetResNet50编码器经典编码器-解码器结构跳跃连接保留了大量空间细节对小缺陷相对友好训练稳定占用显存适中。作为baseline最合适。DeepLabV3ResNet50或MobileNetV3ASPP模块扩大感受野擅长捕获不同尺度的上下文信息。对边界模糊的斑块、麻面有优势但对细小裂纹这类依赖细节的类别比U-Net稍弱。SegFormerB1/B2纯Transformer结构没有下采样带来的固定感受野对大范围上下文建模能力强但参数量偏大、推理速度较慢。在4090上能跑到产线Jetson或低配GPU上就吃力。实测数据512x512输入1080/T4级显卡如下模型参数量mIoU单张推理耗时备注U-Net (ResNet-50)32M0.8122ms细节保持好训练稳定DeepLabV3 (ResNet-50)39M0.8228ms边界模糊类别占优DeepLabV3 (MobileNetV3)11M0.7812ms速度好精度略降SegFormer-B225M0.8045ms上下文建模强速度慢最终我选了U-Net (ResNet-50)作为主力模型主要原因有两点。第一钢材缺陷的小目标密度高U-Net的跳跃连接对细节的还原能力最直接第二U-Net的训练稳定性比DeepLabV3好换数据、调超参时不容易出现训练崩掉的情况这对工业项目迭代效率很重要。DeepLabV3 (MobileNetV3)则作为边缘设备的备选方案。3.3 为什么没有直接上最新的SOTA模型分割领域这两年新模型层出不穷有人会问为什么不用Segformer、Mask2Former或者OCRNet。我的逻辑是这样工业项目第一要务是稳定可复现第二是可部署。很多SOTA模型依赖ImageNet大规模预训练权重在工业特定域上未必能发挥优势反而因为网络过大、依赖长训练周期导致项目周期失控。我在这个项目里还试过Mask2Former精度没有显著超过U-Net但训练时长增加了一倍多部署时还得额外处理Transformer的序列化逻辑。除非任务里有明显的长距离依赖场景比如超大面积连续缺陷否则经典分割结构仍然是工业缺陷检测里性价比最高的选择。4. 损失函数与训练策略类别不平衡是这个项目最大的敌人4.1 缺陷区域占比可能低到让你怀疑人生语义分割里最经典的问题就是类别不平衡。这个项目里六类缺陷加在一起往往只占整张图像面积的0.1%到3%。如果直接用标准交叉熵损失模型会把所有像素都预测成背景因为那样损失已经非常小了。这时候需要理解“为什么交叉熵对不平衡这么敏感”。交叉熵损失的目标是让所有像素的预测概率都接近真实标签但如果一个类是少数类它对总损失的贡献太小梯度更新时就几乎不被优化模型自然就忽略它了。我在项目里的实测数据是这样的用普通交叉熵训练前几个epoch里模型几乎全输出背景mIoU直接是0。如果纯用Dice Loss训练又特别不稳定损失容易震荡mask经常是一团乱麻。4.2 我最终的Loss方案加权交叉熵Dice Loss的组队经过多轮实验最稳定、效果最好的组合是加权交叉熵加上Dice Loss按一定比例相加。具体做法加权交叉熵给稀有类别更高的权重。权重设计参考了每个类别像素在数据集中的占比计算出逆频率并做截断避免权重过大导致训练震荡。例如如果背景像素占比95%那么给后台权重设为0.2-0.3常见缺陷设为1.0稀有缺陷提到3.0-5.0。Dice Loss直接优化分割区域和真实区域的重叠度主要解决“正样本太少导致梯度被淹没”的问题。但Dice Loss对超参数和优化器很敏感我一般把它和交叉熵按照约1:1或1:2的比例组合具体用哪个比例要看验证集表现。为什么不用Focal LossFocal Loss在检测任务里很强但语义分割的像素级任务里它对易错像素的惩罚调整会让训练变得很不稳定尤其在小目标缺陷上容易把边界学得特别碎我在工业数据上多次试过效果都不佳。如果你手头的时间和计算资源有限直接从“加权CEDice”这个组合入手更稳妥。Loss的PyTorch伪代码如下整体改动很小但效果提升非常明显# 假设 logits: (B, C, H, W)target: (B, H, W)class_weights: (C,) import torch import torch.nn.functional as F def combined_loss(logits, target, class_weights, dice_weight0.5): ce_loss F.cross_entropy(logits, target, weightclass_weights) # Dice Loss 逐类别计算 probs F.softmax(logits, dim1) # (B, C, H, W) target_one_hot F.one_hot(target, num_classeslogits.size(1)).permute(0, 3, 1, 2).float() smooth 1.0 intersection (probs * target_one_hot).sum(dim(0, 2, 3)) union probs.sum(dim(0, 2, 3)) target_one_hot.sum(dim(0, 2, 3)) dice_coeff (2 * intersection smooth) / (union smooth) dice_loss 1 - dice_coeff.mean() return ce_loss dice_weight * dice_loss4.3 训练参数与增强策略的实测推荐如果不确定训练超参可按下面的配置起步再根据验证集表现微调输入尺寸512x512batch size 8优化器AdamW或SGDmomentum0.9, weight_decay1e-4。AdamW收敛快SGD最终精度略高差异不算太大。学习率初始1e-4AdamW或0.01SGD配合poly衰减或余弦退火。我推荐poly衰减公式为 lr lr_base * (1 - epoch/total_epoch)^0.9不挑超参效果稳定。训练总epoch数60-100。工业数据量不大不需要几百轮过拟合比欠拟合更常见。用ImageNet预训练权重做初始化能显著提升收敛速度尤其是ResNet50编码器通常稳定提升2-4个点的mIoU。4.4 数据加载的细节也马虎不得工欲善其事必先利其器。加载数据时同样有几个细节会让训练体验差距很大多进程Dataloader把num_workers设为4-8如果不设置GPU会一直处在“等数据”的状态训练速度能差好几倍。训练缓存把图像和mask读取为内存数组而不是每次训练都从磁盘读文件。4100张图片如果全部读入内存压力也不小可以只存解压后的numpy数组或缓存一部分看内存容量决定。验证时的数据增强需要关闭验证和测试阶段不要加随机crop、翻转等操作统一使用中心裁剪或直接resize到标准尺寸否则验证集指标会出现随机波动干扰决策。5. 指标评估与调优路径mIoU之外更要关注类别的短板5.1 除了mIoU哪些指标对这个项目更重要学分割的同学都熟悉mIoU但工业缺陷检测里只用mIoU容易骗自己。实测中常有这种情况mIoU做到了0.82看起来不错但把预测mask放到图上发现“开裂”这一类的IoU只有0.35细线缺陷几乎全断了。整体指标好是因为背景和常见缺陷占比高把短板掩盖了。所以我建议做一套“分类别指标表”包括各类别的IoU、Dice、Recall。其中尤其要关注Recall也就是“真实缺陷被找出来的比例”工业上线时漏检比误检严重得多漏一个缺陷没检出来可能直接出质量事故。5.2 一个真实的调优案例开裂类的IoU从0.31提升到0.52这个项目里初始模型“开裂”类的IoU只有0.31是所有类别里最惨的。我定位到两个原因第一数据增强阶段做了过多的随机旋转。开裂本身是网状细纹方向没有明显偏好但旋转后细线会被插值模糊掉模型更难学。我改成只做水平翻转和垂直翻转不旋转线状缺陷的预测连续性明显变好。第二裁剪大小太小。256x256的patch对细线类缺陷并不是好事因为裁剪后局部上下文太少模型不容易判断“这些细纹是开裂还是正常的轧制纹理”。我把裁剪尺寸从256x256提升到512x512让模型看到更多上下文开裂的IoU最终往上走了不少。经过这两个调整开裂类IoU从0.31提高到0.52整体mIoU也从0.78升到0.81。这件事给了我很深的印象有些时候不去调模型结构而是细心看每一类在数据增强层面的表现反而效果立竿见影。5.3 可视化分析才是排查问题的关键手段除了指标我会把预测结果和原图、真实mask做成三栏对比图人工查看。主要看几个方面预测是否粘在真实边界上还是偏移了几个像素。细小缺陷是否断成碎片。很多模型输出的开裂mask像虚线一样断断续续这往往是后处理做了开运算或者测试时图像被resize过。缺陷边缘是否出现了毛刺或“拖尾”。这类像素通常在边界模糊类别如斑块、麻面上常见可以尝试在后处理时做一个条件膨胀或者检查测试增强是否开多了。可视化这一步看起来土但对工业项目尤其重要因为产线上的人看的不是mIoU数字而是预测结果能不能对上他们的经验直觉。这一步做不好算法再好也很难说服现场团队接纳。6. 部署与工程化从模型到产线中间隔着多少个坑6.1 ONNX与TensorRT加速的实战细节训练好的PyTorch模型不能直接扔到产线上跑。我的标准流程是导出ONNX再转TensorRT或直接用OpenVINO把推理时间压到可控范围内。ONNX导出时最容易踩的坑是动态输入尺寸。PyTorch model.export时如果设置了dynamic_axesONNX的batch和H、W都会是动态维度TensorRT转换时可能会变得很慢或直接失败。我的建议是固定输入尺寸比如统一resize到512x512固定batch1。这样导出模型体积更小、转换更快、推理速度也更快。产线上如果相机分辨率固定固定尺寸完全可行。TensorRT转换时FP16精度一般是首选。我实测FP16和FP32的mIoU差距在0.2-0.5个百分点左右视觉上几乎无差异但推理速度能提升一倍以上。INT8量化在这个项目里效果不太稳定容易掉点除非任务真的对延迟极度敏感否则建议先不要上INT8。6.2 产线集成时容易忽略的几个问题模型推理只是整个检测系统的一环。实际部署还要考虑图像采集与预处理一致性训练时图像来自某台设备但产线上换了相机或光源亮度、分辨率都会变。模型在一个新的图像分布上表现通常会下降所以在部署初期最好留出至少一两天的现场数据收集时间做一次小样本校验。触发与节拍钢板是持续运动的算法必须能在两块钢板之间的间隙完成拍摄和推理。需要测量整条链路的耗时图像采集传输推理结果回传确保满足节拍要求。结果回传与可视化产线上需要的是“哪块区域什么缺陷”所以输出mask后还要做连通域分析把缺陷转成矩形框或区域列表和坐标回传给上位机或MES系统。这一步的坐标对齐很容易出问题尤其是图像有裁剪、缩放或ROI偏移时两边的坐标系不一致现场看到的框就会错位。6.3 模型迭代机制不是训练一次就完事钢材生产过程中钢种、轧制工艺、产线状态都会变化缺陷形态也会随之漂移。我在项目里建了一个“新样本回流”机制现场发现漏检或误检的图片定期收集回来人工复核后增量补充到训练集里每个月做一次增量训练或微调。这样模型能持续适应现场变化而不是上线三个月后就逐渐失效。增量训练时要注意避免灾难性遗忘。如果新样本类别分布和旧数据差异太大可以在新数据训练时混入一部分旧数据或者把学习率调低保证模型参数不会剧烈变化。更重要的是每次回流样本都要按前面定好的标注规范重新审查否则标注噪声会通过这个回流通道进入训练集越积越乱。6.4 和工业视觉平台的对接一个隐形工作量大头很多工厂已经采购了海康VisionMaster、Halcon等机器视觉平台部署深度学习模型时经常被要求把算法集成到这些平台里。这个环节的坑在于平台处理图像的数据类型、坐标系、位深度往往和训练时的预处理代码不一致模型推理结果输出后还要自己做一轮坐标变换和数据格式转换。如果前期没有预留标准接口往往要花一周甚至更多时间来做“格式胶水”比训练模型本身还费劲。建议从项目一开始就和平台方确认好输入输出协议定义一套标准的接口约定再开始训练能省去后期大量返工。7. 一些个人踩坑总结给后来者少走弯路的建议做完全流程之后有几条经验想分享给大家。第一先把标注规范定死再开工。这个项目一开始返回工了一次就是因为我“边标边调”早期几十张图的标注口径和后面不一致后面再改标签花了两周时间。如果项目刚开始就统一几个人的标注标准这半个月完全能省下。第二模型出问题先看数据和增强不要急着换模型结构。我踩过最典型的一次坑整体mIoU一直卡在0.78上不去我以为是模型表达能力不够换了更强的backbone结果换来换去没多大变化。后来仔细检查才发现是测试时把原图直接resize成512x512导致细线缺陷畸形修正resize方式后旧的模型直接涨到0.81。说白了工业数据的性能瓶颈往往不在模型的“上限”而在数据处理流程中的某一个不起眼的位。第三损失函数和类别权重一定要多试几次。不同数据集的类别不平衡程度差异极大别指望一套权重打遍天下。每次调整权重后跑5-10个epoch看一眼各类别IoU的曲线就能快速判断方向对不对不用训练到全量epoch才验证。第四部署前最好做一次现场光照和相机的模拟测试。实验室里跑得好不代表到了产线上还好。如果能把相机、光源装到和现场尽量接近的环境中测试后续上线的波折会少很多。最后想说钢材缺陷分割这类工业检测项目无论算法多先进走到最后拼的都是对数据、对现场的理解。用2100张高质量标签把U-Net这个经典结构练到极致效果往往比拿6000张粗糙标签去跑一个SOTA结构更好。希望这篇记录能帮正在做类似项目的你少踩几个坑尤其别让数据标注和预处理拖了整个项目的后腿。本文还有配套的精品资源点击获取
简介语义分割是计算机视觉中的核心任务通过对图像进行像素级分类能够精确刻画目标对象的边界与轮廓。在工业质检场景中深度学习与语义分割的结合为解决复杂表面缺陷检测提供了新路径。传统目标检测仅能输出粗略的边界框而语义分割可区分每一像素的类别尤其适用于钢材表面缺陷中多类小目标交织、边界模糊的难题。实际工程中模型选型与损失函数设计至关重要U-Net凭借跳跃连接保持了良好的细节信息配合加权交叉熵与Dice Loss可有效应对类别不平衡同时数据增强、标注规范以及Model部署均直接影响最终效果。这一技术路线已在钢材表面缺陷检测中得到验证其方法也适用于其他工业视觉检测场景助力实现自动化、高精度的质量管控。 开头得从现场说起。我第一次拿到钢材缺陷分割这个项目时第一反应不是选什么模型而是被一个数据问题困住了——产线上的老师傅指着一段表面说“这是麻点”翻到监控画面里同一种形貌却叫“氧化铁皮”。同一张图不同人标出来的区域能差出三分之一。那一刻我就明白这个项目的成败根本不只在模型而是在“怎么定义缺陷”这件事上。先说清楚这个项目是什么钢材表面缺陷语义分割用深度学习模型对钢板表面图像做逐像素分类区分出划痕、麻点、氧化皮等多类缺陷区域。输入是一张表面灰度图或彩色图输出是一张和原图等尺寸的mask每个像素点都有明确的类别标签。相比传统的Faster R-CNN、YOLO这类目标检测框语义分割能给出缺陷的精细轮廓这对后续的缺陷面积统计、等级评定、质量追溯都有直接价值。适合正在做工业视觉检测、需要从检测框升级到像素级分割、或者刚开始接触语义分割想找真实工业场景练手的同学参考。本文选型、训练、评估、部署的所有细节都基于一份约4100张表面图像、包含多类缺陷标注的数据集展开数据和场景贴合实际产线检测需求不是那种学术数据集上刷分、到现场就废的项目。1. 缺陷分割任务的基本盘4100张数据能做什么不能做什么1.1 工业表面缺陷到底长什么样钢材表面缺陷最棘手的地方是“像”。不像自然图像里猫和狗差异那么大钢板表面的缺陷类别常常只有细微的纹理差别。这里按业内常用的分类口径拆一下氧化铁皮rolled-in scale深灰或黑色块状区域和基体有明显边界但形状不规则容易出现整片连在一起的情况。斑块patches表面发暗的片状区域边界模糊灰度值变化不大是分割难度较高的类别。开裂crazing典型的细小裂纹呈网状或条状分布面积小、线条细是目标检测框最容易漏的类别对语义分割模型的细节保持能力考验极大。麻面pitted surface密集的凹坑群形似橘子皮单坑很小分割时容易被误判为噪声。夹杂物inclusion深色颗粒状嵌入物尺寸不一有的和氧化铁皮外观接近类间混淆严重。划痕scratches细长条状缺陷方向随机和开裂的区分点是形态和走向。多类别分割的难点就在这里模型不仅要判断“这里有没有缺陷”还要判断“这到底是哪一种缺陷”。两个任务叠在一起对训练数据的质量和数量要求就上来了。1.2 4100张数据在这个任务里意味着什么先说结论4100张图像配像素级标签在工业缺陷分割领域已经是相当可用的数据规模。公开的钢材表面数据集NEU-DET含1800张左右的图像但主要是检测框标签像素级分割标签很少。我做的这个项目数据规模接近它的两倍且有逐像素标注这对监督学习来说是很扎实的基础。但也要说清楚边界。4100张不是万能的它够不够用取决于几个变量类别均衡性如果六类缺陷样本分布是3000张划痕、200张夹杂物那夹杂物这类就会吃大亏。后面我会讲怎么在数据层面做均衡。场景多样性是不是涵盖了不同光照、不同表面粗糙度、不同钢种如果数据都是同一时段、同一产线采集的模型上线遇到新钢种就可能翻车。标注精细度边界标得越细模型学到的边界就越准。很多数据集标注时只框出大概区域这对分割训练是灾难性的。所以4100张是一个“能撑起模型”的量但前提是数据组织方式科学。实际项目中我一般会把数据集按类别分层抽样划分为训练集、验证集和测试集比例在8:1:1到7:2:1之间。划分时千万不能随机切必须保证每类缺陷在三个集合里都有分布否则验证集上看着效果很好到了测试集就懵。2. 标注口径与数据预处理这门手艺的隐形门槛2.1 标注规范比标注工具重要十倍做分割项目大家通常先纠结用什么标注工具我却觉得标注规范才是该项目第一个要定死的制度。很多初学同学直接拿LabelMe开画一个缺陷随手一圈边界能偏出十几个像素。这在自然场景无伤大雅但在钢材缺陷检测里缺陷区域往往只占整图的1%甚至更少边界偏几个像素IoU就掉好几个点。尤其是开裂这类细线缺陷边界稍微标粗一点模型最后学出来的区域就会比真实缺陷大一圈产线上就会认为这个模型“乱报警”。我建议的标注规范是缺陷边界必须贴着视觉上的灰度突变位置画宁可少圈一点再修不要一开始就图省事框大框。整块连续区域只标注一次不在一个缺陷内断开画多个多边形。两个缺陷靠得很近但明显不相连时中间至少留出2个像素的间隔不能随手连成一片。每张图必须经过第二个人复核复核重点是边界是否过粗、类别是否误标。这些规范看起来琐碎实际跑下来会直接影响分割模型的边界质量和类别准确率。如果项目里标注人数多建议先让两个人各标10张图计算一下一致性例如逐像素的Dice把标注差异拉齐后再大批量开工。2.2 标注工具选型与半自动预标注工具方面我推荐三条路线按项目预算和人力来选手工标注X-AnyLabeling或LabelMe。X-AnyLabeling集成了不少辅助功能比如交互式分割模型点几下就能给出一个初始mask人工只需修正边缘。这个工具对密集缺陷场景特别友好比纯手工多边形快很多。半自动预标注SAMSegment Anything或EISeg。用SAM对图像做通用分割把缺陷区域一次性切出来再人工筛选、合并、改类别。钢材表面这种纹理复杂图像SAM有时会把背景纹理也切成很多碎片筛选工作量不小但整体还是能省时间的。全人工标注只在数据量特别少时推荐比如几百张以内的冷启动阶段。实际操作中最顺的方案是先用SAM等模型跑一遍预标注把明显的缺陷区域自动生成polygon然后导入X-AnyLabeling人工修正。针对细长缺陷、密集小缺陷等困难区域再做一遍局部裁剪修正。整个流程下来一张图标注时间能控制在2-5分钟4100张图在不加班的前提下两周左右可以完成一轮。2.3 数据增强增强的不是数量是泛化性训练阶段我做了以下几类增强按优先级排序随机裁剪crop这个项目尤其重要。原图如果分辨率较高比如3000x3000直接resize到512x512缺陷细节会丢得很严重尤其细线开裂这种类别。我的做法是训练时随机裁剪512x512或256x256的patch让模型能看清缺陷的细部纹理同时相当于把每张图扩充成几十个训练样本。几何增强随机水平翻转、垂直翻转、90度旋转。注意不是所有缺陷都适合旋转比如划痕有明确方向性过度旋转会让模型学到错误的方向先验。钢材表面缺陷方向本身随机可以转但如果只做垂直检测的直线划痕场景翻转和旋转就要克制。光度增强随机亮度、对比度、饱和度调整。钢材表面光照波动大这一步不能省但幅度不要太大灰度值加减范围控制在原有像素值的10%-20%以内即可否则会引入不存在的表面纹理。CutMix或MixUp对缺陷类别不均衡有一定帮助但我实测下来对工业图像的效果不如自然图像那么惊艳。其原因可能是缺陷和背景纹理高度相关硬拼图会破坏上下文。所以我在这个项目里没有用混合增强而是靠类别加权解决不均衡。3. 模型选型怎么在U-Net、DeepLabV3和轻量级网络之间做取舍3.1 任务特性对模型提出了什么要求钢材缺陷分割对模型有三大约束细节保持能力、类别区分能力、推理速度。前两点决定算法能不能把细小的开裂、麻面分对第三点决定产线上能不能跑起来。细节保持缺陷普遍是小目标模型必须保留下采样过程中的空间信息。一些过度使用池化、大步长卷积的模型很容易把小缺陷“磨掉”。类别区分不同缺陷类别的外观差距不大需要网络提取较高的语义特征同时不能丢失局部纹理细节。推理速度如果产线节拍要求每秒处理几张图模型单张推理时间必须控制在几十毫秒级。重型模型即使精度再高部署时也得砍。3.2 三个候选方案的实测对比我在这个项目中重点对比了三个结构U-NetResNet50编码器经典编码器-解码器结构跳跃连接保留了大量空间细节对小缺陷相对友好训练稳定占用显存适中。作为baseline最合适。DeepLabV3ResNet50或MobileNetV3ASPP模块扩大感受野擅长捕获不同尺度的上下文信息。对边界模糊的斑块、麻面有优势但对细小裂纹这类依赖细节的类别比U-Net稍弱。SegFormerB1/B2纯Transformer结构没有下采样带来的固定感受野对大范围上下文建模能力强但参数量偏大、推理速度较慢。在4090上能跑到产线Jetson或低配GPU上就吃力。实测数据512x512输入1080/T4级显卡如下模型参数量mIoU单张推理耗时备注U-Net (ResNet-50)32M0.8122ms细节保持好训练稳定DeepLabV3 (ResNet-50)39M0.8228ms边界模糊类别占优DeepLabV3 (MobileNetV3)11M0.7812ms速度好精度略降SegFormer-B225M0.8045ms上下文建模强速度慢最终我选了U-Net (ResNet-50)作为主力模型主要原因有两点。第一钢材缺陷的小目标密度高U-Net的跳跃连接对细节的还原能力最直接第二U-Net的训练稳定性比DeepLabV3好换数据、调超参时不容易出现训练崩掉的情况这对工业项目迭代效率很重要。DeepLabV3 (MobileNetV3)则作为边缘设备的备选方案。3.3 为什么没有直接上最新的SOTA模型分割领域这两年新模型层出不穷有人会问为什么不用Segformer、Mask2Former或者OCRNet。我的逻辑是这样工业项目第一要务是稳定可复现第二是可部署。很多SOTA模型依赖ImageNet大规模预训练权重在工业特定域上未必能发挥优势反而因为网络过大、依赖长训练周期导致项目周期失控。我在这个项目里还试过Mask2Former精度没有显著超过U-Net但训练时长增加了一倍多部署时还得额外处理Transformer的序列化逻辑。除非任务里有明显的长距离依赖场景比如超大面积连续缺陷否则经典分割结构仍然是工业缺陷检测里性价比最高的选择。4. 损失函数与训练策略类别不平衡是这个项目最大的敌人4.1 缺陷区域占比可能低到让你怀疑人生语义分割里最经典的问题就是类别不平衡。这个项目里六类缺陷加在一起往往只占整张图像面积的0.1%到3%。如果直接用标准交叉熵损失模型会把所有像素都预测成背景因为那样损失已经非常小了。这时候需要理解“为什么交叉熵对不平衡这么敏感”。交叉熵损失的目标是让所有像素的预测概率都接近真实标签但如果一个类是少数类它对总损失的贡献太小梯度更新时就几乎不被优化模型自然就忽略它了。我在项目里的实测数据是这样的用普通交叉熵训练前几个epoch里模型几乎全输出背景mIoU直接是0。如果纯用Dice Loss训练又特别不稳定损失容易震荡mask经常是一团乱麻。4.2 我最终的Loss方案加权交叉熵Dice Loss的组队经过多轮实验最稳定、效果最好的组合是加权交叉熵加上Dice Loss按一定比例相加。具体做法加权交叉熵给稀有类别更高的权重。权重设计参考了每个类别像素在数据集中的占比计算出逆频率并做截断避免权重过大导致训练震荡。例如如果背景像素占比95%那么给后台权重设为0.2-0.3常见缺陷设为1.0稀有缺陷提到3.0-5.0。Dice Loss直接优化分割区域和真实区域的重叠度主要解决“正样本太少导致梯度被淹没”的问题。但Dice Loss对超参数和优化器很敏感我一般把它和交叉熵按照约1:1或1:2的比例组合具体用哪个比例要看验证集表现。为什么不用Focal LossFocal Loss在检测任务里很强但语义分割的像素级任务里它对易错像素的惩罚调整会让训练变得很不稳定尤其在小目标缺陷上容易把边界学得特别碎我在工业数据上多次试过效果都不佳。如果你手头的时间和计算资源有限直接从“加权CEDice”这个组合入手更稳妥。Loss的PyTorch伪代码如下整体改动很小但效果提升非常明显# 假设 logits: (B, C, H, W)target: (B, H, W)class_weights: (C,) import torch import torch.nn.functional as F def combined_loss(logits, target, class_weights, dice_weight0.5): ce_loss F.cross_entropy(logits, target, weightclass_weights) # Dice Loss 逐类别计算 probs F.softmax(logits, dim1) # (B, C, H, W) target_one_hot F.one_hot(target, num_classeslogits.size(1)).permute(0, 3, 1, 2).float() smooth 1.0 intersection (probs * target_one_hot).sum(dim(0, 2, 3)) union probs.sum(dim(0, 2, 3)) target_one_hot.sum(dim(0, 2, 3)) dice_coeff (2 * intersection smooth) / (union smooth) dice_loss 1 - dice_coeff.mean() return ce_loss dice_weight * dice_loss4.3 训练参数与增强策略的实测推荐如果不确定训练超参可按下面的配置起步再根据验证集表现微调输入尺寸512x512batch size 8优化器AdamW或SGDmomentum0.9, weight_decay1e-4。AdamW收敛快SGD最终精度略高差异不算太大。学习率初始1e-4AdamW或0.01SGD配合poly衰减或余弦退火。我推荐poly衰减公式为 lr lr_base * (1 - epoch/total_epoch)^0.9不挑超参效果稳定。训练总epoch数60-100。工业数据量不大不需要几百轮过拟合比欠拟合更常见。用ImageNet预训练权重做初始化能显著提升收敛速度尤其是ResNet50编码器通常稳定提升2-4个点的mIoU。4.4 数据加载的细节也马虎不得工欲善其事必先利其器。加载数据时同样有几个细节会让训练体验差距很大多进程Dataloader把num_workers设为4-8如果不设置GPU会一直处在“等数据”的状态训练速度能差好几倍。训练缓存把图像和mask读取为内存数组而不是每次训练都从磁盘读文件。4100张图片如果全部读入内存压力也不小可以只存解压后的numpy数组或缓存一部分看内存容量决定。验证时的数据增强需要关闭验证和测试阶段不要加随机crop、翻转等操作统一使用中心裁剪或直接resize到标准尺寸否则验证集指标会出现随机波动干扰决策。5. 指标评估与调优路径mIoU之外更要关注类别的短板5.1 除了mIoU哪些指标对这个项目更重要学分割的同学都熟悉mIoU但工业缺陷检测里只用mIoU容易骗自己。实测中常有这种情况mIoU做到了0.82看起来不错但把预测mask放到图上发现“开裂”这一类的IoU只有0.35细线缺陷几乎全断了。整体指标好是因为背景和常见缺陷占比高把短板掩盖了。所以我建议做一套“分类别指标表”包括各类别的IoU、Dice、Recall。其中尤其要关注Recall也就是“真实缺陷被找出来的比例”工业上线时漏检比误检严重得多漏一个缺陷没检出来可能直接出质量事故。5.2 一个真实的调优案例开裂类的IoU从0.31提升到0.52这个项目里初始模型“开裂”类的IoU只有0.31是所有类别里最惨的。我定位到两个原因第一数据增强阶段做了过多的随机旋转。开裂本身是网状细纹方向没有明显偏好但旋转后细线会被插值模糊掉模型更难学。我改成只做水平翻转和垂直翻转不旋转线状缺陷的预测连续性明显变好。第二裁剪大小太小。256x256的patch对细线类缺陷并不是好事因为裁剪后局部上下文太少模型不容易判断“这些细纹是开裂还是正常的轧制纹理”。我把裁剪尺寸从256x256提升到512x512让模型看到更多上下文开裂的IoU最终往上走了不少。经过这两个调整开裂类IoU从0.31提高到0.52整体mIoU也从0.78升到0.81。这件事给了我很深的印象有些时候不去调模型结构而是细心看每一类在数据增强层面的表现反而效果立竿见影。5.3 可视化分析才是排查问题的关键手段除了指标我会把预测结果和原图、真实mask做成三栏对比图人工查看。主要看几个方面预测是否粘在真实边界上还是偏移了几个像素。细小缺陷是否断成碎片。很多模型输出的开裂mask像虚线一样断断续续这往往是后处理做了开运算或者测试时图像被resize过。缺陷边缘是否出现了毛刺或“拖尾”。这类像素通常在边界模糊类别如斑块、麻面上常见可以尝试在后处理时做一个条件膨胀或者检查测试增强是否开多了。可视化这一步看起来土但对工业项目尤其重要因为产线上的人看的不是mIoU数字而是预测结果能不能对上他们的经验直觉。这一步做不好算法再好也很难说服现场团队接纳。6. 部署与工程化从模型到产线中间隔着多少个坑6.1 ONNX与TensorRT加速的实战细节训练好的PyTorch模型不能直接扔到产线上跑。我的标准流程是导出ONNX再转TensorRT或直接用OpenVINO把推理时间压到可控范围内。ONNX导出时最容易踩的坑是动态输入尺寸。PyTorch model.export时如果设置了dynamic_axesONNX的batch和H、W都会是动态维度TensorRT转换时可能会变得很慢或直接失败。我的建议是固定输入尺寸比如统一resize到512x512固定batch1。这样导出模型体积更小、转换更快、推理速度也更快。产线上如果相机分辨率固定固定尺寸完全可行。TensorRT转换时FP16精度一般是首选。我实测FP16和FP32的mIoU差距在0.2-0.5个百分点左右视觉上几乎无差异但推理速度能提升一倍以上。INT8量化在这个项目里效果不太稳定容易掉点除非任务真的对延迟极度敏感否则建议先不要上INT8。6.2 产线集成时容易忽略的几个问题模型推理只是整个检测系统的一环。实际部署还要考虑图像采集与预处理一致性训练时图像来自某台设备但产线上换了相机或光源亮度、分辨率都会变。模型在一个新的图像分布上表现通常会下降所以在部署初期最好留出至少一两天的现场数据收集时间做一次小样本校验。触发与节拍钢板是持续运动的算法必须能在两块钢板之间的间隙完成拍摄和推理。需要测量整条链路的耗时图像采集传输推理结果回传确保满足节拍要求。结果回传与可视化产线上需要的是“哪块区域什么缺陷”所以输出mask后还要做连通域分析把缺陷转成矩形框或区域列表和坐标回传给上位机或MES系统。这一步的坐标对齐很容易出问题尤其是图像有裁剪、缩放或ROI偏移时两边的坐标系不一致现场看到的框就会错位。6.3 模型迭代机制不是训练一次就完事钢材生产过程中钢种、轧制工艺、产线状态都会变化缺陷形态也会随之漂移。我在项目里建了一个“新样本回流”机制现场发现漏检或误检的图片定期收集回来人工复核后增量补充到训练集里每个月做一次增量训练或微调。这样模型能持续适应现场变化而不是上线三个月后就逐渐失效。增量训练时要注意避免灾难性遗忘。如果新样本类别分布和旧数据差异太大可以在新数据训练时混入一部分旧数据或者把学习率调低保证模型参数不会剧烈变化。更重要的是每次回流样本都要按前面定好的标注规范重新审查否则标注噪声会通过这个回流通道进入训练集越积越乱。6.4 和工业视觉平台的对接一个隐形工作量大头很多工厂已经采购了海康VisionMaster、Halcon等机器视觉平台部署深度学习模型时经常被要求把算法集成到这些平台里。这个环节的坑在于平台处理图像的数据类型、坐标系、位深度往往和训练时的预处理代码不一致模型推理结果输出后还要自己做一轮坐标变换和数据格式转换。如果前期没有预留标准接口往往要花一周甚至更多时间来做“格式胶水”比训练模型本身还费劲。建议从项目一开始就和平台方确认好输入输出协议定义一套标准的接口约定再开始训练能省去后期大量返工。7. 一些个人踩坑总结给后来者少走弯路的建议做完全流程之后有几条经验想分享给大家。第一先把标注规范定死再开工。这个项目一开始返回工了一次就是因为我“边标边调”早期几十张图的标注口径和后面不一致后面再改标签花了两周时间。如果项目刚开始就统一几个人的标注标准这半个月完全能省下。第二模型出问题先看数据和增强不要急着换模型结构。我踩过最典型的一次坑整体mIoU一直卡在0.78上不去我以为是模型表达能力不够换了更强的backbone结果换来换去没多大变化。后来仔细检查才发现是测试时把原图直接resize成512x512导致细线缺陷畸形修正resize方式后旧的模型直接涨到0.81。说白了工业数据的性能瓶颈往往不在模型的“上限”而在数据处理流程中的某一个不起眼的位。第三损失函数和类别权重一定要多试几次。不同数据集的类别不平衡程度差异极大别指望一套权重打遍天下。每次调整权重后跑5-10个epoch看一眼各类别IoU的曲线就能快速判断方向对不对不用训练到全量epoch才验证。第四部署前最好做一次现场光照和相机的模拟测试。实验室里跑得好不代表到了产线上还好。如果能把相机、光源装到和现场尽量接近的环境中测试后续上线的波折会少很多。最后想说钢材缺陷分割这类工业检测项目无论算法多先进走到最后拼的都是对数据、对现场的理解。用2100张高质量标签把U-Net这个经典结构练到极致效果往往比拿6000张粗糙标签去跑一个SOTA结构更好。希望这篇记录能帮正在做类似项目的你少踩几个坑尤其别让数据标注和预处理拖了整个项目的后腿。本文还有配套的精品资源点击获取
