CARL-YOLOF: 一种用于数字印花织物缺陷检测的高效模型

摘要深度学习模型已成功应用于织物缺陷检测领域。然而由于数字印花织物缺陷检测领域缺乏可用的数据集相关研究仍不充分。此外现有的深度学习模型无法很好地解决两个棘手的挑战。一方面实际生产要求模型在保证实时检测的同时尽可能提高其检测精度。另一方面分类和定位的目标是相互关联的因此对于一个优秀的物体检测模型应建立分类和定位之间的联系。为了解决这些问题本文将分类感知回归损失CARL嵌入到YOLOF中以关联分类和定位任务由此将该模型命名为CARL-YOLOF。所提出模型的性能通过自建的数字印花织物缺陷检测数据集DPFD-DET进行了训练和评估。实验结果表明CARL-YOLOF在COCO评估指标上达到了0.54的AP值相比YOLOF提升了0.04。此外CARL-YOLOF保持了YOLOF的速度优势达到了42 FPS。因此所提出的模型适用于实时数字印花织物缺陷检测。关键词数字印花织物缺陷检测YOLOFCARL深度学习2. 介绍印染工业是纺织工业的重要组成部分而纺织品印花是提升纺织品附加价值的关键工序。数字印花技术作为一种新型印花技术与传统的印花技术如辊筒印花、丝网印花、转移印花等相比能为纺织品提供更逼真、更鲜艳、更自然的印花效果并进一步提升了纺织品的附加价值。同时印花过程中的一系列复杂因素可能对纺织品质量产生不利影响例如坏布上浆染色不均、喷墨印花系统不稳定、蒸化机滴水等这些都会导致印花缺陷如PASS道、PASS道痕、漏墨、空白、重影、毛绒、漏水、浆斑等。图1展示了数字印花织物缺陷的样本。图1. 数字印刷缺陷数据库中的部分示例图像(a) 单条扫描痕迹(b) 多条扫描痕迹(c) 漏墨(d) 空白(e) 重影(f) 绒毛(g) 漏水以及 (h) 纸浆块。因此数字印花织物缺陷检测已成为印染质量监控中有效且不可或缺的一环。近年来将深度学习的理论知识有效应用于织物缺陷检测领域仍是一个热门话题。Peng等人提出了一种先验锚点卷积神经网络PRANNet用于织物缺陷检测以提高织物缺陷的检测和定位精度。Zhu等人提出了一种改进的DenseNet模型以更好地适应资源受限的边缘计算场景。Li和Li基于Cascade R-CNN提出了三种技巧以进一步提高织物缺陷检测的精度。然而由于可用数据集的限制以往织物缺陷的研究对象主要集中在白坯布、纯色布和单纹理色布上而对数字印花织物的研究则非常有限。数字印花织物缺陷检测性能的提升与检测器的发展密切相关。正负锚点的定义和损失函数是检测器的两个核心组成部分它们理论知识的不断丰富对检测器的发展具有重要意义。在正负锚点定义方面我们简要回顾以下几种代表性方法如Max-IoU、ATSS、Uniform-match。首先Max-IoU采用锚点框与真实框之间的IoU交并比作为衡量正负锚点的标准该方法已灵活应用于SSD、BAGS和PISA中。随后ATSS使用动态IoU阈值以便更有效地为每个目标匹配数量稳定的正锚点。与上述方法不同Uniform-match基于真实框与锚点框之间的中心点距离为每个真实框匹配固定数量的正锚点所对应的预测框这提高了模型在稀疏锚点空间中检测每个目标的能力。就目标检测的损失函数而言它具体分为分类损失函数和边界框回归损失函数二者协同完成检测任务。对于分类损失函数通常要求通过难样本挖掘或软采样来提高模型检测正样本的能力。对于边界框回归损失函数通常考虑如何使边界框更好地回归这体现在回归损失函数的发展轨迹中。然而上述两个任务并未建立直接联系因此分类感知回归思想的产生引起了研究人员的广泛关注。本文受YOLOF和CARL的启发提出了CARL-YOLOF来解决上述问题。我们研究的主要贡献可归纳为三个方面a. 与YOLOF相比所提出的CARL-YOLOF实现了更高的检测精度。b. 我们建立了一个数字印花缺陷数据集DPFD-DET为数字印花领域提供了研究样本。c. 与其他先进检测器相比我们的模型更适用于实时数字印花织物缺陷检测。3. YOLOF基线作为当前先进检测器的代表YOLOF与其他检测器相比在速度和精度之间实现了有效平衡其成功源于基于大量消融实验对特征金字塔网络FPN的客观分析。因此可以得出一个结论FPN能够有效提高检测器的精度这主要依赖于分治策略而非多级特征融合。此外FPN的引入会严重阻碍检测器的检测速度因为其复杂的路径连接方式加剧了前向推理过程中的内存访问频率更不用说其他更复杂的路径连接方式了。为了解决这些问题YOLOF提出了结构简单的空洞编码器弥合了空洞编码器与FPN之间的精度差距其结构如图2所示。图2. 扩张编码器示意图。首先应用1×1卷积以4倍的比例进行通道降维。然后使用带空洞的3×3卷积来扩大感受野。此外采用1×1卷积来恢复通道数。最后在输入和输出之间使用捷径连接以探索模型对大尺度物体的感知能力同时保留对原始输入中小尺寸物体的感知能力。4. CARL-YOLOF检测器的功能可以概括为实现两个特定任务即分类和回归。然而仅出色地完成其中任何一个任务并不能直接反映检测器的精度这一事实如图3所示。图3. 缺陷检测结果通过两张图像进行展示。对于图像(a)黑色框标示了实际的油墨渗漏缺陷红色框对应图像的检测结果其中置信度分别为0.98、0.97和0.96的预测框被判定为真阳性True Positive其余预测框被判定为假阳性False Positive。对于图像(b)黑色框标示了实际的纸浆缺陷红色框对应图像的检测结果其中置信度为0.99的预测框被判定为真阳性其余预测框被判定为假阳性。假阳性False Positive被非极大值抑制NMS保留这显著影响了检测器的性能。可以看出假阳性的置信度满足正分数阈值的要求但它们的边界框明显不满足正IoU阈值的要求因此我们尝试构建一个将边界框回归和分类相关联的损失函数以进一步提高检测器的精度。受YOLOF和CARL的启发我们提出了CARL-YOLOF其训练流程如下所示如图4所示CARL-YOLOF的训练流程是基于YOLOF和CARL模块设计的。对于YOLOF它由三个组件构成1主干网络Backbone本文选择ResNet50进行定量研究2颈部网络Neck由四个连续的空洞编码器组成3YOLOF头部Head根据类别数、锚点生成器标准和来自颈部网络的输入通道数进行制定。CARL模块建立了分类和回归之间的联系。具体来说回归分支受到分类损失的监督具有更高预测概率的正锚点会在回归时获得较大的梯度这迫使模型在训练过程中更加关注它们。受YOLOF和CARL的启发所提出的CARL-YOLOF保持了YOLOF精简的网络结构并且嵌入的CARL模块加强了模型对重要样本的关注。因此与YOLOF相比CARL-YOLOF在不影响推理速度的前提下实现了更高的检测精度。CARL模块CARL模块如图4所示它包含两个过程。首先我们根据锚点框和真实框之间的关系定义正负锚点。然后我们建立损失函数来训练模型。对于前者采用Uniform-Match策略来定义正负锚点。具体来说它基于真实框与锚点框之间的中心点距离为每个真实框匹配固定数量的正锚点所对应的预测框这确保了在稀疏锚点空间中存在大量的正样本。对于后者将Focal Loss应用于分类任务以提高模型检测难样本的能力。在边界框回归损失方面我们引入CIoU Loss和CARL来构建分类与回归之间的联系以提高检测器的性能。我们提出的回归损失函数可以表示如下其中程度因子表示回归对重要正锚点的关注程度表示正锚点的预测概率是影响回归任务的尺度因子且0≤≤1。然后我们使用指数函数将转换为并根据所有样本的平均值对其进行重新缩放得到。表示输出的回归偏移量˙表示期望的回归偏移量。是常用的CIoU损失。显然和之间呈正相关。对于正锚点较高的意味着回归损失的额外增加这迫使模型在训练阶段更加关注它们。同样具有较高的正锚点更为重要因为它们是推理阶段在NMS期间首先被保留的。CARL模块迫使所提出的模型更加关注重要样本而非不重要样本与YOLOF相比这进一步提高了检测精度。实验与结果数字印花数据集在本文中我们建立了一个用于数字印花缺陷检测的综合数据集DPFD-DET。为了创建我们的数据集我们首先收集了包含八种缺陷类型PASS道、PASS道痕、漏墨、空白、重影、毛绒、漏水、浆斑的数字印花缺陷图像。接下来由于高分辨率的数字印花织物缺陷图像增加了模型的训练难度我们将缺陷区域随机裁剪为较低的分辨率包括256×256、384×384、416×416、512×512裁剪操作如图5所示。然后我们使用LabelImg软件将收集到的数据集标注为八个类别。最后将数据集按8:1:1的比例划分为训练集、验证集和测试集。每个类别的详细统计数据如表1所示。实现细节和评估指标所有主干网络的初始化权重均从COCO2017数据集上训练好的模型迁移而来。所有其他权重均通过“Xavier”范式初始化。在微调过程中我们将最大轮数设为30并使用SGD作为优化器。对于SGD优化器基础学习率设为0.001权重衰减设为0.0001动量常数设为0.9批大小设为4。所有模型训练均在配备Intel E5-2680v3处理器2.5 GHz、128GB内存和1张NVIDIA GeForce 2080 Ti的深度学习工作站上完成。评估指标。在我们的实验中使用FPS和COCO评估指标,50,75,,,来评估模型性能。1FPS检测速度2COCO指标检测精度评估指标FPS的定义如下其中表示总图像帧数表示总花费时间。为了计算FPS包括推理阶段和后处理阶段批大小设为1输入图像尺寸固定为416×416。整体实验我们使用ResNet50作为主干网络并采用相同的配置来验证我们的实验结果。CARL-YOLOF与其他先进模型在DPFD-DET测试集上的性能对比如表2所示。与YOLOF相比在相同推理速度下CARL-YOLOF在,75,,指标上分别实现了0.04、0.03、0.03、0.04的不同程度提升。与其他模型相比我们的模型在综合指标上表现最佳。此外我们的模型在75和指标上处于领先地位表明它能满足更严格的边界框回归标准并且具有出色的检测大尺度缺陷的能力。然而与Faster-RCNN相比我们的模型在50,,指标上表现较低这源于其更简化的网络结构降低了表达能力。前两列分别显示了模型的框架和主干网络。最后六列分别显示了模型在六个指标,50,75,,,上的精度FPS是在我们的工作站上评估的。所有指标均在固定图像尺寸416×416下测量。超参数消融实验。为了验证CARL模块的超参数k, b对检测精度的影响程度因子采用了三个备选常数值0.5 1 2设置为常数0-1间隔为0.2。通过表3可以总结出一个结论目标检测任务是分类任务和边界框回归任务的统一。具体来说当恒定时超参数通常主导分类概率对边界框回归的影响当恒定时尺度超参数可以反映分类概率对边界框回归影响的比例因此检测器的精度会随着常数的良好选择而提高。大量消融实验已验证CARL中超参数设置为(20.8)时我们的模型能达到最佳检测精度。与YOLOF(1,1)相比指标提升了0.04。图6展示了CARL-YOLOF模型在DPFD-DET测试集上的检测示例。结论在本文中我们提出了用于数字印花织物缺陷检测的CARL-YOLOF模型。该模型在一定程度上有效平衡了检测精度和速度为解决数字印花织物缺陷难以检测的问题提供了理论参考价值。分类感知回归策略可以有效地加强YOLOF模型中分类任务和回归任务之间的联系。实验结果表明采用ResNet50主干网络的CARL-YOLOF在我们自建的DPFD-DET数据集上的,75,,指标上实现了不同程度的提升。此外CARL-YOLOF保持了YOLOF的速度优势达到了42 FPS。因此所提出的模型适用于实时数字印花织物缺陷检测。