（论文速读）Salience DETR：采用分层显著过滤精化增强检测变换

论文题目Salience DETR: Enhancing Detection Transformer with Hierarchical Salience Filtering Refinement采用分层显著过滤精化增强检测变换会议CVPR 2024摘要类DETR方法以端到端的方式显著提高了检测性能。它们的主流两阶段框架执行密集的自我注意并选择一小部分查询进行稀疏交叉注意这被证明是有效的但也引入了沉重的计算负担和对稳定查询选择的高度依赖。本文证明了在两阶段初始化中次优的两阶段选择策略由于选择的查询和对象之间的不匹配而导致规模偏差和冗余。为了解决这些问题我们提出了分层显著过滤精化算法它只对过滤后的判别性查询执行变换编码以在计算效率和精度之间取得更好的平衡。该过滤过程通过一种新的独立于尺度的显著监督来克服尺度偏差。为了弥补查询之间的语义不一致我们引入了精心设计的查询求精模块以实现稳定的两阶段初始化。在上述改进的基础上建议的显著DETR在三个具有挑战性的特定任务检测数据集上实现了4.0%的AP、0.2%的AP和4.4%的AP并且在COCO 2017上实现了49.2%的AP和更少的失败。代码可在https://github.com/xiuqhou/Salience-DETR.上获得Salience DETR用分层显著性过滤精化解决 DETR 的冗余与尺度偏差问题一、背景两阶段 DETR 的瓶颈自 DETR 问世以来Transformer-based 端到端检测器已成为目标检测领域的重要范式。以 DINO、Deformable DETR、Focus DETR 为代表的主流高性能变体普遍采用两阶段流水线编码器对所有 token 执行密集自注意力再从中选取一部分 query 送入解码器做稀疏交叉注意力。这一设计虽然有效提升了检测精度却也带来了两个严重的内生问题。1.1 两类冗余编码冗余图像背景 token 贡献的特征判别性远低于前景对背景 token 执行自注意力不但消耗大量计算还会引入无关噪声干扰前景特征学习。选择冗余现有两阶段选择策略在 query 选择上存在明显的多而不精问题。作者在 DINO 上做了一组预消融实验【配表】论文 Table 1DINO 在 MSSD 数据集上关于两阶段 query 数量的预消融结果。300→600→900 queriesAP 从 49.0 持续上升到 51.0说明即使 query 数量已远超实际目标数检测性能仍能受益于更多 query暗示大量 query 并未与真实目标一一匹配。这组数据揭示了一个反直觉的现象如果两阶段选择真正做到了与目标一一对应增加多余的 query 就不应该再有帮助。但实验结果恰恰相反——这意味着选出的 query 中存在大量冗余选择真正匹配目标的 query 比例并不高。1.2 尺度偏差问题现有的 query 过滤方法如 Focus DETR、Sparse DETR使用离散的 0/1 标签区分前景/背景或依据目标尺度将 query 分配至对应的特征层级。这两种方式都对大尺度目标存在天然偏好大目标覆盖更多像素格点会有更多 query 落在其感受野内并被赋予高置信度而小目标则因覆盖区域稀少极易在竞争中被过滤掉。【配图】论文 Figure 1对两阶段初始化中 selected queries 的可视化。无论选取 Top-100、300 还是 900 个 query结果都清晰展示了两个问题1对大目标的 scale bias——大尺寸目标周围的 query 密集小目标周围稀少2背景 query 和对称 query 的冗余即使采用一对一匈牙利匹配也无法彻底避免。1.3 查询语义不对齐分层过滤机制对不同层级的 token 使用不同的过滤比例导致被选中参与注意力计算的 query 和被保持不变的 query 之间产生语义偏差。这种不对齐会损害两阶段初始化的稳定性进而影响解码器的检测精度。二、Salience DETR 整体框架针对上述问题本文提出Salience DETR核心思想是用分层显著性过滤精化Hierarchical Salience Filtering Refinement替代现有的粗粒度过滤机制在计算效率和检测精度之间取得更优的平衡。整体框架在标准两阶段 DETR 管线基础上引入三个层次的改进尺度无关的显著性监督3.1节解决尺度偏差问题分层查询过滤3.2节解决编码冗余问题三个查询精化模块3.3节解决选择冗余与语义不对齐问题。【配图】论文 Figure 2Salience DETR 整体架构图。展示了显著性监督模块3.1指导编码器内分层过滤3.2的流程以及编码器输出后接背景嵌入、跨层级 token 融合、冗余去除三个精化模块3.3最终将精化后的 query 送入解码器。三、核心创新模块详解3.1 尺度无关的显著性监督这是 Salience DETR 解决尺度偏差的核心机制。不同于 Focus DETR 等方法使用离散 0/1 标签本文为每个 query 构建连续的显著性置信度作为监督目标。对于第 l 层特征图上位置 (i,j) 的 query其对应原图坐标显著性置信度定义为其中与目标中心的相对距离 d 定义为、是 query 坐标与目标框中心的偏差w、h 是目标框的宽高。这样越靠近目标中心的 query 置信度越高最高为 1越靠近边界越低接近 0。这一设计的关键优势在于置信度仅由 query 到目标中心的归一化相对距离决定与目标的绝对尺寸无关。对于一个小目标其中心附近的 query 同样能获得接近 1 的高置信度而不会因为目标小、覆盖像素少就被过滤掉。【配图】论文 Figure 3尺度无关显著性监督上与离散前景-背景监督下的对比示意图。上方方案中显著性置信度从目标中心向边界平滑衰减下方离散方案中所有前景 query 均赋值 1导致大目标覆盖更多高置信度格点天然占据优势。该图直观展示了为何尺度无关监督能对小尺寸目标更公平。损失函数采用 focal loss 形式其中为真实显著性置信度为预测值。3.2 分层查询过滤在尺度无关显著性监督的指导下Salience DETR 实施双维度分层过滤同时在编码器层维度layer-wise和特征层级维度level-wise进行精细化过滤。具体地引入两组过滤比对应 T 个编码器层和对应 L 个特征层级。在第 t 个编码器层、第 l 个特征层级上只有置信度排在前比例的 query 参与注意力更新其余 query 保持不变这里的层级过滤比体现了一个朴素但重要的洞察高层级特征图分辨率低token 数少语义更丰富可以保留更多参与注意力低层级特征图分辨率高token 数多计算量大应更积极地过滤。这与多尺度特征的内在特性高度契合。在计算效率方面使用 deformable attention 时编码计算量从原始的降低为实际参与计算的 query 数量仅为原来的。3.3 三个查询精化模块分层过滤有效降低了编码冗余但也带来了新问题被选中参与注意力的 query 与未被选中的 query 在语义上产生了分化。为此本文在编码器输出到解码器输入之间引入三个精化模块。1背景嵌入Background Embedding对于未被选中参与注意力计算的 query其语义信息相对滞后。论文通过为其添加自学习的绝对位置嵌入来弥补这一差距。具体做法是学习行嵌入和列嵌入通过外积插值到对应特征图尺寸后与 token 特征相加论文对比了相对嵌入和绝对嵌入两种变体见 Table 8绝对嵌入的效果略优AP 55.2 vs 55.0原因是 query 过滤在像素级别进行绝对位置信息能直接补偿位置相关特征。2跨层级 Token 融合Cross-Level Token Fusion由于不同层级的过滤比例不同各层级 token 之间产生了语义不对齐。本文提出基于路径聚合结构的跨层级融合模块利用提出的 RepVGGPluXBlock 对相邻层级 token 进行信息交互。【配图】论文 Figure 4跨层级 token 融合模块结构图展示了 RepVGGPluXBlock 的 Main 分支GCNorm 门控 FC和 Residual 分支的并行设计以及相邻层级 token 通过 Upsample Concat 进行融合的方式。对于相邻的低分辨率 token和高分辨率 token融合计算如下最终通过残差连接输出3冗余去除Redundancy Removal对于相似目标尤其是小尺寸目标两阶段选择策略容易选出大量重复 query导致解码器初始化不稳定。作者采用简洁有效的方案对每个被选中的 query 构造一个以其位置为中心、边长固定的虚拟边界框然后在图像级别和层级级别分别执行 NMS去除高度重叠的冗余 query。【配图】论文 Figure 5引入冗余去除前后的收敛曲线对比图AP50:95 和 AP50 随训练 epoch 的变化。加入冗余去除后训练初期的 AP 显著更高收敛速度明显加快最终 AP 提升 0.7%AP50 提升 0.4%。四、实验结果4.1 数据集概况本文在三个任务特定数据集和一个通用基准上进行评估【配表】论文 Table 2四个数据集的统计信息。ESD 是电子扫描缺陷数据集图像分辨率 3620×3700平均 12.22 个目标/图CSD 是铸件表面缺陷数据集1024×1024平均 10.67 个目标/图MSSD 是作者自建的移动屏幕表面缺陷数据集5120×5120 超高分辨率平均 87.40 个目标/图大量小尺寸弱目标COCO 2017 是通用检测基准80类118287 张训练图。4.2 ESD 数据集对比结果【配表】论文 Table 3ESD 数据集定量对比结果与 Faster RCNN、YOLOX、DINO、Focus DETR 等方法全面比较。在 ESD 上Salience DETR 以AP 46.5%超越全部对比方法成为唯一 AP75 超过 40% 的方法41.4%比第二名高 1.8%。在 ARS 指标上达到 34.0%远高于第二名 Focus DETR 的 21.9%体现出对小尺寸缺陷目标的显著优势。4.3 CSD 数据集对比结果【配表】论文 Table 4CSD 数据集定量对比结果。该数据集缺乏大尺寸目标对 DETR 类方法挑战性较高。CSD 数据集因缺乏适合 DETR 检测的大尺寸目标而更具挑战性。Salience DETR 以AP 53.2%0.2%和AR 66.5%0.2%综合领先于最新的 DINO53.0%和 H-Def-DETR53.0%。ARS 达到 65.7%优于所有对比方法。4.4 MSSD 数据集对比结果核心战场MSSD 是本文最能体现方法优势的数据集——高分辨率5120×5120、大量小尺寸弱目标、低对比度平均每图包含 87.40 个目标实例对判别性 query 选择要求极高。【配表】论文 Table 5MSSD 数据集定量对比结果Salience DETR 全面领先所有对比方法。Salience DETR 在 MSSD 上取得了全面突破AP 55.4%比基线 DINO51.0%提升4.4%比 Focus DETR49.2%提升6.2%AP75 61.9%比第二名高出惊人的9.4%精确定位能力大幅领先APS 28.7%比 DINO 的 20.0% 提升8.7%小目标检测精度显著改善ARS 33.0%比 DINO 的 23.9% 提升9.1%小目标召回率同样大幅提升。这些数字充分说明尺度无关的显著性监督和分层过滤机制对于充满小尺寸弱目标的工业场景检测有着实质性的改进效果。4.5 COCO 2017 通用基准【配表】论文 Table 9COCO val2017 上与多种 DETR 变体的定量对比重点关注 AP 和 FLOPs 的权衡。Salience DETR 在 COCO 2017 val 上达到49.2% AP优于同等设置ResNet50 骨干、12 epoch下的 DINO49.0% AP而 FLOPs 仅为201G不足 DINO291G的70%。这证明了 Salience DETR 在通用检测场景下也具备良好的泛化能力且计算效率明显更优。4.6 消融实验【配表】论文 Table 6在 CSD 数据集上的完整消融实验逐步验证 HQF分层查询过滤、BE背景嵌入、RR冗余去除、CTF跨层级 token 融合四个组件的有效性。消融实验在 CSD 数据集ResNet50 骨干上系统验证了各组件的贡献基线无任何改进AP 50.2%FLOPs 132G HQF分层查询过滤AP 提升至 52.0%1.8%FLOPs 升至 168G——计算量增加来自需要预测显著性置信度的额外分支但显著性过滤在编码器内部带来了更多的信息量增益 HQF BE背景嵌入AP 52.0%AP75 从 54.2% 提升至 49.9%FLOPs 不变168G——背景嵌入不增加推理计算量 HQF RR冗余去除AP 52.6%0.6%FLOPs 168G——冗余去除显著改善了两阶段初始化 HQF BE RRAP 52.8%FLOPs 168G 全部四组件AP53.2%FLOPs 201G——跨层级 token 融合贡献了额外 0.4% AP代价是 FLOPs 增加约 33G。尺度无关监督的消融验证也十分有力Table 7MSSD 数据集【配表】论文 Table 7尺度无关显著性监督与 Focus DETR 的重叠区间Overlap Limit监督的对比。尺度无关方案在 AP55.0 vs 53.2、AP7561.9 vs 60.3、APM40.7 vs 39.4、APL44.1 vs 43.7上全面领先验证了其对尺度偏差的有效纠正。4.7 可视化分析【配图】论文 Figure 6显著性置信度在 MSSD、CSD 和 COCO 2017 多尺度特征图上的可视化。图中展示了一个有趣发现显著性标签仅基于边界框标注构建但网络预测的显著性置信度能进一步与目标的粗轮廓对齐暗示显著性监督可能对像素级任务如实例分割也有潜在价值。【配图】论文 Figure 7MSSD 数据集上 Salience DETR 的检测结果可视化展示了对小尺寸目标针孔 pinhole、难以区分轮廓的目标锡灰 tin-ash、类内差异显著的目标划痕 scratch以及清晰目标气泡 bubble的检测效果类别置信度普遍在 0.85 以上。4.8 推理成本分析【配表】论文 Table 10推理时间与内存消耗对比。Salience DETR 不含 CTF 的快速版本Salience DETR*在 AP 52.8% 的情况下推理时间仅 0.0769s低于 H-Def-DETR0.0834s、DINO0.0860s和 Focus DETR0.0822s参数量46M与对比方法相当内存占用209MB也在合理范围内。完整版本含 CTF以 56.1M 参数和 249MB 内存在 AP 上取得最优。五、方法总结与展望Salience DETR 从一个被以往工作长期忽视的角度切入——两阶段 DETR 中 query 选择的质量——系统性地定义并解决了编码冗余、选择冗余和尺度偏差三大问题。方法的核心洞察可以概括为选哪些 query 做计算和让选出的 query 语义对齐同样重要。尺度无关的连续显著性监督确保了选择的公平性分层过滤在层级和层次两个维度精细化计算分配三个精化模块则在选择完成后修复了不可避免的语义偏差并稳定了两阶段初始化。在工业缺陷检测、遥感小目标检测等对小尺寸弱目标高度敏感的场景中这套方法论有着直接的实用价值。作者也指出显著性监督能预测出近似轮廓的置信度分布未来将其扩展至实例分割等像素级任务是一个值得探索的方向。