做双模态检测的朋友应该都有过类似的体会单模态的SOTA模型往红外-可见光数据上一搬效果反而变差甚至出现“111”的怪象。这不是网络不够深、数据不够多这么简单而是两路特征从一开始就没在对齐——跨模态的匹配问题比单模态要复杂得多。最近我把DEIMDETR with Improved Matching for Fast Convergence这套匹配机制带进红外-可见光双模态检测框架里配合多级渐进交互和后端聚合融合两条设计思路在几个公开数据集上稳住了涨点。这篇就把整个架构设计的来龙去脉拆开讲清楚。这篇文章定位是给已经跑过检测器、对Deformable DETR这类端到端结构有一定了解的从业者看的。如果你是新手也不用担心我会把DEIM的核心机制、多级交互的设计逻辑、后端聚合的实现细节都解释得足够接地气保证你跟着思路能复现出差不多的方案。1. 为什么要用DEIM做多模态底座先解决“跨模态怎么匹配”的地基问题1.1 红外与可见光的互补边界在哪里可见光图像RGB纹理丰富、色彩饱和度高白天或光照充足的环境下几乎是完美的输入源。但一到夜间、浓雾、逆光场景可见光图像就急剧退化目标轮廓淹没在噪声和低信噪比区域里。红外图像IR则完全不受光照影响它依赖目标与背景的温差成像所以黑夜中的人和车依然清晰。但红外图像的缺点是分辨率低、纹理信息少同类目标之间难以区分比如行人和电线杆、车和路边设施单看红外常常搞混。这两路信息一个管“看清轮廓”一个管“认出目标”天然互补。问题在于怎么把这两路信息在一个统一的检测框架里融合而不是简单粗暴地在通道维上拼起来。很多入门方案是直接在输入层做双通道拼接让网络自己学融合。这种前端融合操作简单但效果有限。因为RGB和IR的特征分布差异太大从像素级就开始融合网络需要浪费大量参数去对齐两路的风格和光度差异反而挤占了高层语义建模的能力。1.2 DEIM的倒置匹配机制为什么天然适配多模态检测DEIM是2025年初提出的DETR改进方案核心做法是倒置匹配Inverted Matching和匹配密度Matching Density两点结合。传统DETR系列在训练时用匈牙利匹配从一组预测框出发去找最合适的目标框DEIM则反过来从每个GT真值框出发反查哪些query预测与它足够接近从中选出高质量的正样本。这个“反着选”的设计解决了DETR早期训练里正样本稀疏、匹配不稳定的大问题。那这和多模态检测有什么关系关系非常大。双模态框架里同一目标在RGB分支和IR分支的特征表达可能差得很远传统最近邻匹配经常出现“RGB分支预测对了、IR分支特征干扰导致整体匹配失败”的情况。倒置匹配的好处是它以GT为中心直接衡量query在多模态特征下的联合距离模式更稳健不会因为某一路特征退化就把整个匹配带偏。再说匹配密度。DEIM把每个GT附近候选正负样本的分布密度纳入匹配约束密度高的区域降低匹配阈值避免过多模糊样本干扰收敛。放到双模态场景里这相当于给“红外清晰但可见光模糊”的目标开了绿灯让检测器在模糊条件下依然愿意学习这部分目标而不是被异常特征吓跑。1.3 单模态的匹配收敛经验不能直接搬到双模态这是我实测下来最大的体会。直接把单模态DEIM权重初始化到双模态网络上展开训练后前几十轮loss下降看着很顺但val精度反而一动不动。问题在于单模态匹配得到的正负样本分布对双模态特征根本没有约束力。你在单模态下认为的“难例”在双模态下可能是完全不同的一批样本。所以在整个架构设计里DEIM不只是当做一个检测头来用而是把它放到底座上同时配合多级渐进交互和后端聚合融合让匹配机制在训练早期就同时看到两路特征的全貌。这是整个方案能够稳定涨点的根基。2. 多级渐进交互模块设计三阶段语义递进的融合主干2.1 设计动机与总体拓扑一说到多模态融合很多人第一反应是“在哪个层级拼一下”直接把concat和1x1卷积往网络里一插。这种一次性融合的问题在于浅层细节和深层语义对融合的需求完全不同。浅层特征分辨率高、位置信息敏感融合时应该保守一点保留各自的细节深层特征语义抽象、类别信息集中融合时可以激进一些让两路互相补齐。因此我设计的多级渐进交互Multi-stage Progressive Interaction, MPI遵循一个核心原则交互程度随层级递进而增加交互方式从局部到全局逐步升级。整体拓扑如下RGB和IR各走一个独立的backbone我实验里用的是ResNet-50变体也可以无痛替换成Swin-T分别产出P2、P3、P4、P5四层特征。然后在每一层上做一次跨模态交互交互结果同时输出给下一层持续传递和使用。# 伪代码逻辑示意 rgb_p2, rgb_p3, rgb_p4, rgb_p5 rgb_backbone(x_rgb) ir_p2, ir_p3, ir_p4, ir_p5 ir_backbone(x_ir) f_p2 shallow_interact(rgb_p2, ir_p2) # 浅层细节交互 f_p3 mid_interact(rgb_p3 f_p2, ir_p3 f_p2) # 中层语义交互传递前一阶段信息 f_p4 context_interact(rgb_p4 f_p3, ir_p4 f_p3) f_p5 global_interact(rgb_p5 f_p4, ir_p5 f_p4)这里有个关键设计每一层的交互输出都会以残差形式馈入下一层。这样做的意图是让信息沿着阶段链逐步流动而不是每一层独立融合完就结束了。浅层保留的边缘位置信息、中层捕获的局部语义、深层整合的全局上下文最终在P5之后形成一个信息丰富的层级链条为后面的后端聚合做准备。2.2 浅层细节交互门控注意力差分增强P2和P3这一档特征分辨率高对应的是小目标、边缘轮廓和细节纹理。这里两路特征的空间位置往往有轻微偏差因为红外和可见光成像时即使配准过也存在像素级误差所以不适合直接做像素级加法或拼接。浅层交互模块的具体结构是先对RGB和IR各自做一次1×1卷积统一通道数到256计算两路特征的差分注意力图diff |F_rgb - F_ir|通过sigmoid压缩成一个0~1的权重图。差分大的区域说明两路信息不一致需要重点融合差分小的区域说明两路信息冗余可以走捷径把这个差分权重图作为门控分别乘回两路特征再将加权后的两路特征相加得到该阶段的融合结果最后用一个3×3卷积平滑边界稳定梯度。这个差分注意力图是我觉得整个交互模块里性价比最高的部分。它本质上在让网络自己学会“什么时候该信RGB、什么时候该信IR”。比如夜间场景里IR清晰RGB噪声大差分图会集中在RGB噪声区域门控就自动压低RGB权重把IR信息放大。整个过程不需要额外的监督信号完全是可微学习出来的。2.3 中层语义交互上下文对齐交互到了P4这一层特征分辨率降低语义信息增强浅层那种细粒度的差分注意力就不够用了。中层要做的是上下文对齐Context Alignment。这里的核心结构是一个轻量级的跨模态交叉注意力模块。以RGB特征作为QueryIR特征作为Key和Value让可见光分支主动去“查询”红外分支哪里有值得关注的目标信号。反过来再做一次IR to RGB的交叉注意力两个方向的输出拼接后过一个FFN形成完整的中层交互。为什么不用自注意力因为两路特征经过浅层交互后已经高度相关再做自注意力等价于在同一个特征空间里做冗余计算。交叉注意力则保持了“一路为主、另一路为参考”的清晰语义融合效率更高。中层交互的输出还会和浅层传递过来的特征做个简单的残差相加确保低层信息不丢失。2.4 深层全局交互跨模态全局注意力P5层级最低分辨率最高语义这里交互的目的不再是细节融合而是构建全局上下文。目标检测里经常提到的“上下文”包括场景类别、目标间相对关系、大目标的整体形状。红外和可见光在全局语义上是高度互补的——可见光的场景色彩信息丰富红外的目标热信号分布规律明显。全局交互模块使用单层标准Multi-Head Self-Attention作用在将两路P5特征相加后的联合特征上。这个自注意力让每个spatial位置都能感知整个特征图的全局关系相当于在最高层做一个“总装车间”把两路特征各自捕捉到的全局信息统一装配起来。注意这里和2.3的区别2.3的交叉注意力是两路之间的相互查询2.4的自注意力则是在融合后的特征内部建立全局依赖。一个是模态间一个是模态内两者配合才把“渐进交互”四个字落到实处。2.5 多级渐进带来了什么收益在实验里我做了一个非常重要的消融把多级渐进交互替换成只在P4层做一次一次性融合其余层简单concat。结果非常有意思——一次性融合在白天场景下几乎不输多级渐进但一到夜间和弱光场景AP掉得非常明显。这说明渐进式交互的价值在模态退化场景下才最大化因为浅层细节交互能在早期遏制错误信息向高层蔓延一次性融合则是让噪声一路走到顶才被迫清理损失已经造成。如果你现在设计的双模态融合方案在弱光场景下提升不大大概率就是浅层交互没有做好。这一点在后面的消融实验部分还会用数据说明。3. 后端聚合融合架构检测头之前如何把多级结果“拧成一股绳”3.1 前、中、后端融合的取舍多模态融合架构按融合位置分类可以分为前端融合、中间融合、后端融合。我前面提到的多级渐进交互本质上属于中间融合的增强版。但只有中间融合还不够——因为检测器的query在解码时需要一个综合了全局多尺度信息的特征表示。如果逐层的融合特征各自为政没有在最后形成统一视图解码器就得自己在庞大的特征金字塔里挑选合适层级训练负担无形中加大。后端聚合融合Backend Aggregation Fusion, BAF就是干这个活的在检测头之前设置一个轻量聚合模块把P2到P5多个阶段产生的融合特征收集起来动态分配权重产出统一的聚合特征供DEIM解码器使用。3.2 后端聚合模块的具体结构聚合模块的核心叫Adaptive Gated AggregationAGA。结构不复杂但细节决定成败对每一层融合特征F_ii2,3,4,5做全局平均池化得到一个长度为通道数的向量g_i将所有g_i拼接后送入一个两层MLP输出每个层级的动态权重标量w_i对每层特征执行F_i_aligned F_i * w_i的加权缩放将加权后的各层特征按通道拼接用1×1卷积压缩回DEIM decoder接受的通道数最后与P5的全局交互输出做残差连接形成聚合特征。为什么用“标量权重”而不是“通道级权重”我在最初版本里试过对每个通道学独立权重效果确实略好但训练开销大且容易过拟合。标量权重虽然简单但配合MLP的非线性映射已经足够表达层级优先级而且泛化性更好。做工程落地项目的话标量权重几乎是不二选择。3.3 动态权重为什么必须做归一化这个是实打实的经验坑。如果动态权重w_i不限制数值范围或没有在归一化后进行合理缩放训练早期MLP会把权重全压到数值最大的那一层上通常是P4或P5导致浅层融合结果被彻底忽略。我第一版训练里就遇到了这个问题测试阶段可视化权重时P2的权重永远是0.02左右浅层交互模块等于白做。修复方式很简单MLP最后一层用softmax处理强制让四层权重和为1。这样即使某一层在某些场景中权重低也不会被完全压死浅层特征始终有一个表达空间。3.4 聚合特征怎么喂给DEIM解码器聚合特征生成之后喂给DEIM的方式也有讲究。我没有直接把聚合特征替换掉所有编码器输入而是以残差形式加到DEIM编码器输出的特征上。也就是先让DEIM编码器在原有多尺度特征上做一轮目标encoding然后把后端聚合特征用1×1卷积对其通道后逐元素相加。这么做的好处是既保留了DEIM本身靠多尺度可变形注意力建立的稳定编码结果又把多模态融合的信息强制性注入解码端。query初始化也做了一点改造。DEIM默认用一组learned embedding作为object query我在这个基础上把聚合特征的全局平均池化向量拼接到query embedding里相当于让每个query天然携带一个“整幅图处于什么模态状态”的先验信息。实测对夜间弱光目标的召回率提升明显。4. 训练策略与损失设计DEIM混合匹配下的多模态约束4.1 DEIM混合匹配策略适配多模态的改造DEIM原版使用的是倒置匹配和匹配密度的混合策略。放到双模态里我保留了这套框架但在匹配成本计算里加了两个多模态专属项在两路特征下分别计算分类成本取平均或取较大值。我实验里取较大值效果更稳定——这相当于让匹配对“两路都认为像目标”的预测给出更低成本对“一路认为像、另一路认为不像”的模糊预测更高成本从而逼着模型在训练阶段就学会模态一致性增加一个简单的模态差异惩罚项计算目标GT框中心点在RGB和IR特征上的响应差异差异越大匹配成本越高。这是为了抑制两路特征严重不一致的情况防止deocder学到“只看一路特征也能糊弄过去”的捷径。这个惩罚放在损失里不要过重建议系数0.1~0.2。太大了会造成模态强的数据占据主导模态弱的数据几乎不被学习。4.2 损失函数组合与梯度均衡整体损失分四部分损失项说明权重分类损失DEIM标准CE loss来自query与GT匹配结果2.0Box回归损失GIoU L1匹配到的query与GT框回归5.0辅助融合损失Fusion Aux Loss多级交互各阶段输出上的额外检测监督1.0模态一致性损失Modality Consistency两路特征响应差异惩罚0.15辅助融合损失值得多说一句。我在MPI模块的P3、P4、P5三个层次上各挂了一个轻量检测头不是完整解码器就是简单的线性分类回归直接输出预测框和类别概率。这能让每级交互特征自己学出“独立可用”的检测能力而不是只做深层特征的附庸。实测这个损失让网络收敛速度提升明显尤其是训练到中期之后AP的波动明显变小。梯度均衡方面我没有用复杂的GradNorm之类的东西多模态检测loss量纲差异不大直接把上述四部分用固定权重相加即可。唯一要注意的是模态一致性损失的梯度过大时会反向破坏backbone的正常特征提取。如果训练时发现RGB分支或IR分支的特征图逐渐趋同可视化时两路特征越来越像就说明一致性损失权重太高了需要调低到0.05~0.1。4.3 训练超参数、数据增强与BN同步细节整个训练流程沿用DEIM的默认配置但以下几个方面必须按照双模态场景特殊处理数据增强。双模态训练最容易踩的坑是增强不一致。RGB做随机裁剪、翻转、色彩抖动没问题但IR图像做裁剪翻转时必须与RGB使用完全相同的几何参数否则两路特征的空间对应关系被破坏多级交互等于在错位上做融合。我统一使用albumentations里的ReplayCompose实现一次增强事件同时作用到两路图像上。BN同步。如果使用SyncBN有一个大坑RGB和IR分支的BN统计量不同它们对输入分布的敏感度完全不同。早期我直接在双分支共用一组SyncBN参数训练一度极不稳定。正确做法是两个backbone分别维护自己的BN参数互不干扰。到后端的融合模块和检测头部分再用统一的BN。EMA。目标检测端到端模型建议开启EMA衰减系数0.9998。这个尤其适合双模态模型因为两路特征的统计特性本身波动大EMA能有效平滑权重更新。5. 消融实验与效果对比渐进交互真的比一次性融合强吗5.1 数据集与评测协议我分别在两个公共双模态检测数据集上做了验证M3FD多光谱行人检测数据和DroneVehicle无人机视角车辆检测数据。前者考验中近距离的行人检测后者考验远距离小目标检测两者正好覆盖了多级融合最关心的两个难点——行人尺度多变和小目标分辨率不足。评价指标统一用COCO协议下的mAPIoU0.5:0.95、AP50、以及Recall100模型输入分辨率统一设置成800×800。所有实验用8张V100训练batch size单卡4总batch 32训练12个epoch热身期1个epoch。5.2 消融一融合层级对mAP的影响我做了四个对照实验A仅使用P4层一次性融合concat 1×1 convB仅浅层交互P2/P3检测头不加后端聚合C完整多级渐进交互P2~P5不加后端聚合D完整MPI 后端聚合融合即最终方案。结果如下M3FD上的mAP配置白天mAP夜间mAP计算量(GFLOPs)A: 单层P4融合52.843.1202B: 仅浅层交互51.245.6218C: 渐进交互无后端聚合54.348.1236D: MPI 后端聚合55.751.2245能看到几个关键趋势。第一单层P4融合在白天表现尚可但夜间掉点超过9个点说明浅层细节交互缺失对弱光场景伤害极大。第二仅浅层交互的配置在夜间比单层融合好但白天AP反而下降——这是因为没有高层语义融合时浅层交互会给强光场景引入冗余信息。第三完整方案MPI后端聚合在两个场景下都拿到最高分夜间提升尤其明显说明后端聚合让解码器真正用上了全链路融合信息。5.3 消融二后端聚合 vs 前端/中间融合针对融合位置我又做了一组对比固定其他部分不变融合方式夜间mAP参数量(M)仅前端输入拼接46.941.2仅中间融合P4 concat45.440.8MPI多级交互无后端聚合48.152.3MPI 后端聚合最终51.255.1数据很清楚前端拼接和中间concat在参数量低、但精度天花板低难以处理模态退化问题。而“MPI 后端聚合”的完整方案用约3M额外参数换来了近3个点的夜间mAP提升性价比很高。后端聚合的核心优势体现在多尺度信息的综合利用率上——没有聚合模块时解码器对某些空域位置的query不知道该去哪个尺度取信息聚合模块相当于给每个query配了一张“哪个层级最值得参考”的说明书。5.4 与主流双模态检测器的对比结果在M3FD上我将最终方案与几种公开的双模态检测方法做了对比方法夜间mAPAP50参数量早期双流concat检测器44.271.541.0M基于注意力交互的双模态检测器46.874.347.6MDEIM单模态RGB only43.570.142.0M本文方案MPI BAF DEIM51.280.455.1M夜间mAP直接拉出7.7个点的领先幅度。单从数字看似乎复杂了许多但仔细分析核心增益其实来自三处一是DEIM的倒置匹配稳住了匹配质量二是多级渐进交互确保浅层信息不被深层覆盖三是后端聚合让解码器有了全局决策依据。在DroneVehicle无人机视角小目标检测上的结果也类似——远处小目标场景下浅层交互P2/P3带来的贡献甚至超过高层融合因为小目标在深层特征上几乎语义全无完全靠浅层保留的空间细节撑着。6. 工程落地与部署注意点精度之外容易被忽视的坑6.1 模型大小与推理速度权衡把两路backbone和一堆交互模块堆上去之后FLOPs很容易翻倍甚至更多。我在工程化阶段做的第一个取舍是把两个ResNet-50换成一个共享权重、一个独立权重的非对称结构RGB分支使用较大模型IR分支使用较浅模型ResNet-34甚至ResNet-18。原因是红外图像的纹理信息少、语义层次浅用一个太深的网络去提取红外特征收益极低。反而是RGB分支需要足够的深度去提取细节纹理。这种非对称设计在实验中精度几乎不掉但推理速度提升了约20%。如果你要部署到边缘设备如无人机、车载盒子这个优化非常关键。6.2 红外与可见光配准误差对训练的影响公开数据集里的红外和可见光图像多半已经做过粗略配准但实际搭系统时两路相机物理安装位置不同、焦距不同拍摄出来的画面存在空间错位。直接训练会导致浅层交互模块学到“模糊对齐”的权重泛化能力极差。我的经验是在输入层之前强制做一个轻量的空间对齐预处理。具体做法是用一个固定参数的仿射变换网格Affine Grid对RGB图像按其与IR的固定偏移量做平移缩放再做线性插值。这个偏移量在部署现场标定一次即可。虽然看着简陋但比让网络自己学会抗错位要可靠得多也省下了大量训练时间。6.3 训练过程中的额外经验与排坑记录最后分享几个实操中踩过的坑希望能帮后来者少走弯路第一交互模块的初始化要小心。差分注意力门控里的sigmoid在初始化时很容易把门控值压到0.5附近导致两路特征被无脑平均。我建议把sigmoid前的偏置设置成2或3初始化后门控更接近“按原样保留各自特征”的状态让网络从“先各自独立提取”出发再逐步学到“何时该融合”。第二批次内模态平衡问题。训练数据的batch里不可能保证白天、夜间、雾天样本均匀分布。我试过直接混训发现奇数batch里全夜间的图片会把模型的颜色通道参数带偏造成白天图片泛化下降。解决方案是给每一个训练batch里硬性加入至少30%的各种光照条件混合数据或者使用GroupBatchSampler按场景类型分组取样本。第三如果编码器部分使用的是Deformable DETR系列的可变形注意力两路特征的sample offset是共享的。这个在物理上是不合理的RGB和IR的局部变形结构完全不同。不过这并非致命问题可变形注意力训练后期会自适应地学到两路可接受的offset范围。如果追求极致精度可以给两路各配一组offset参数但这会让训练时间增加15%左右视项目预算取舍。DEIM这套倒置匹配机制在双模态任务上的巨大价值我认为还没有被完全挖掘。它天然规避了跨模态匹配歧义问题稳定性和收敛速度都显著优于传统DETR类方案。我目前的这套MPIBAF架构是一个值得复现的基线如果你在夜间或弱光目标检测场景里遇到瓶颈建议顺着这个框架去改造效果大概率不会让你失望。后续我还在尝试把红外热成像的物理特性温度梯度作为先验知识加入匹配成本项也有了初步的正面反馈。有做同类方向的朋友欢迎一起交流细节。
做双模态检测的朋友应该都有过类似的体会单模态的SOTA模型往红外-可见光数据上一搬效果反而变差甚至出现“111”的怪象。这不是网络不够深、数据不够多这么简单而是两路特征从一开始就没在对齐——跨模态的匹配问题比单模态要复杂得多。最近我把DEIMDETR with Improved Matching for Fast Convergence这套匹配机制带进红外-可见光双模态检测框架里配合多级渐进交互和后端聚合融合两条设计思路在几个公开数据集上稳住了涨点。这篇就把整个架构设计的来龙去脉拆开讲清楚。这篇文章定位是给已经跑过检测器、对Deformable DETR这类端到端结构有一定了解的从业者看的。如果你是新手也不用担心我会把DEIM的核心机制、多级交互的设计逻辑、后端聚合的实现细节都解释得足够接地气保证你跟着思路能复现出差不多的方案。1. 为什么要用DEIM做多模态底座先解决“跨模态怎么匹配”的地基问题1.1 红外与可见光的互补边界在哪里可见光图像RGB纹理丰富、色彩饱和度高白天或光照充足的环境下几乎是完美的输入源。但一到夜间、浓雾、逆光场景可见光图像就急剧退化目标轮廓淹没在噪声和低信噪比区域里。红外图像IR则完全不受光照影响它依赖目标与背景的温差成像所以黑夜中的人和车依然清晰。但红外图像的缺点是分辨率低、纹理信息少同类目标之间难以区分比如行人和电线杆、车和路边设施单看红外常常搞混。这两路信息一个管“看清轮廓”一个管“认出目标”天然互补。问题在于怎么把这两路信息在一个统一的检测框架里融合而不是简单粗暴地在通道维上拼起来。很多入门方案是直接在输入层做双通道拼接让网络自己学融合。这种前端融合操作简单但效果有限。因为RGB和IR的特征分布差异太大从像素级就开始融合网络需要浪费大量参数去对齐两路的风格和光度差异反而挤占了高层语义建模的能力。1.2 DEIM的倒置匹配机制为什么天然适配多模态检测DEIM是2025年初提出的DETR改进方案核心做法是倒置匹配Inverted Matching和匹配密度Matching Density两点结合。传统DETR系列在训练时用匈牙利匹配从一组预测框出发去找最合适的目标框DEIM则反过来从每个GT真值框出发反查哪些query预测与它足够接近从中选出高质量的正样本。这个“反着选”的设计解决了DETR早期训练里正样本稀疏、匹配不稳定的大问题。那这和多模态检测有什么关系关系非常大。双模态框架里同一目标在RGB分支和IR分支的特征表达可能差得很远传统最近邻匹配经常出现“RGB分支预测对了、IR分支特征干扰导致整体匹配失败”的情况。倒置匹配的好处是它以GT为中心直接衡量query在多模态特征下的联合距离模式更稳健不会因为某一路特征退化就把整个匹配带偏。再说匹配密度。DEIM把每个GT附近候选正负样本的分布密度纳入匹配约束密度高的区域降低匹配阈值避免过多模糊样本干扰收敛。放到双模态场景里这相当于给“红外清晰但可见光模糊”的目标开了绿灯让检测器在模糊条件下依然愿意学习这部分目标而不是被异常特征吓跑。1.3 单模态的匹配收敛经验不能直接搬到双模态这是我实测下来最大的体会。直接把单模态DEIM权重初始化到双模态网络上展开训练后前几十轮loss下降看着很顺但val精度反而一动不动。问题在于单模态匹配得到的正负样本分布对双模态特征根本没有约束力。你在单模态下认为的“难例”在双模态下可能是完全不同的一批样本。所以在整个架构设计里DEIM不只是当做一个检测头来用而是把它放到底座上同时配合多级渐进交互和后端聚合融合让匹配机制在训练早期就同时看到两路特征的全貌。这是整个方案能够稳定涨点的根基。2. 多级渐进交互模块设计三阶段语义递进的融合主干2.1 设计动机与总体拓扑一说到多模态融合很多人第一反应是“在哪个层级拼一下”直接把concat和1x1卷积往网络里一插。这种一次性融合的问题在于浅层细节和深层语义对融合的需求完全不同。浅层特征分辨率高、位置信息敏感融合时应该保守一点保留各自的细节深层特征语义抽象、类别信息集中融合时可以激进一些让两路互相补齐。因此我设计的多级渐进交互Multi-stage Progressive Interaction, MPI遵循一个核心原则交互程度随层级递进而增加交互方式从局部到全局逐步升级。整体拓扑如下RGB和IR各走一个独立的backbone我实验里用的是ResNet-50变体也可以无痛替换成Swin-T分别产出P2、P3、P4、P5四层特征。然后在每一层上做一次跨模态交互交互结果同时输出给下一层持续传递和使用。# 伪代码逻辑示意 rgb_p2, rgb_p3, rgb_p4, rgb_p5 rgb_backbone(x_rgb) ir_p2, ir_p3, ir_p4, ir_p5 ir_backbone(x_ir) f_p2 shallow_interact(rgb_p2, ir_p2) # 浅层细节交互 f_p3 mid_interact(rgb_p3 f_p2, ir_p3 f_p2) # 中层语义交互传递前一阶段信息 f_p4 context_interact(rgb_p4 f_p3, ir_p4 f_p3) f_p5 global_interact(rgb_p5 f_p4, ir_p5 f_p4)这里有个关键设计每一层的交互输出都会以残差形式馈入下一层。这样做的意图是让信息沿着阶段链逐步流动而不是每一层独立融合完就结束了。浅层保留的边缘位置信息、中层捕获的局部语义、深层整合的全局上下文最终在P5之后形成一个信息丰富的层级链条为后面的后端聚合做准备。2.2 浅层细节交互门控注意力差分增强P2和P3这一档特征分辨率高对应的是小目标、边缘轮廓和细节纹理。这里两路特征的空间位置往往有轻微偏差因为红外和可见光成像时即使配准过也存在像素级误差所以不适合直接做像素级加法或拼接。浅层交互模块的具体结构是先对RGB和IR各自做一次1×1卷积统一通道数到256计算两路特征的差分注意力图diff |F_rgb - F_ir|通过sigmoid压缩成一个0~1的权重图。差分大的区域说明两路信息不一致需要重点融合差分小的区域说明两路信息冗余可以走捷径把这个差分权重图作为门控分别乘回两路特征再将加权后的两路特征相加得到该阶段的融合结果最后用一个3×3卷积平滑边界稳定梯度。这个差分注意力图是我觉得整个交互模块里性价比最高的部分。它本质上在让网络自己学会“什么时候该信RGB、什么时候该信IR”。比如夜间场景里IR清晰RGB噪声大差分图会集中在RGB噪声区域门控就自动压低RGB权重把IR信息放大。整个过程不需要额外的监督信号完全是可微学习出来的。2.3 中层语义交互上下文对齐交互到了P4这一层特征分辨率降低语义信息增强浅层那种细粒度的差分注意力就不够用了。中层要做的是上下文对齐Context Alignment。这里的核心结构是一个轻量级的跨模态交叉注意力模块。以RGB特征作为QueryIR特征作为Key和Value让可见光分支主动去“查询”红外分支哪里有值得关注的目标信号。反过来再做一次IR to RGB的交叉注意力两个方向的输出拼接后过一个FFN形成完整的中层交互。为什么不用自注意力因为两路特征经过浅层交互后已经高度相关再做自注意力等价于在同一个特征空间里做冗余计算。交叉注意力则保持了“一路为主、另一路为参考”的清晰语义融合效率更高。中层交互的输出还会和浅层传递过来的特征做个简单的残差相加确保低层信息不丢失。2.4 深层全局交互跨模态全局注意力P5层级最低分辨率最高语义这里交互的目的不再是细节融合而是构建全局上下文。目标检测里经常提到的“上下文”包括场景类别、目标间相对关系、大目标的整体形状。红外和可见光在全局语义上是高度互补的——可见光的场景色彩信息丰富红外的目标热信号分布规律明显。全局交互模块使用单层标准Multi-Head Self-Attention作用在将两路P5特征相加后的联合特征上。这个自注意力让每个spatial位置都能感知整个特征图的全局关系相当于在最高层做一个“总装车间”把两路特征各自捕捉到的全局信息统一装配起来。注意这里和2.3的区别2.3的交叉注意力是两路之间的相互查询2.4的自注意力则是在融合后的特征内部建立全局依赖。一个是模态间一个是模态内两者配合才把“渐进交互”四个字落到实处。2.5 多级渐进带来了什么收益在实验里我做了一个非常重要的消融把多级渐进交互替换成只在P4层做一次一次性融合其余层简单concat。结果非常有意思——一次性融合在白天场景下几乎不输多级渐进但一到夜间和弱光场景AP掉得非常明显。这说明渐进式交互的价值在模态退化场景下才最大化因为浅层细节交互能在早期遏制错误信息向高层蔓延一次性融合则是让噪声一路走到顶才被迫清理损失已经造成。如果你现在设计的双模态融合方案在弱光场景下提升不大大概率就是浅层交互没有做好。这一点在后面的消融实验部分还会用数据说明。3. 后端聚合融合架构检测头之前如何把多级结果“拧成一股绳”3.1 前、中、后端融合的取舍多模态融合架构按融合位置分类可以分为前端融合、中间融合、后端融合。我前面提到的多级渐进交互本质上属于中间融合的增强版。但只有中间融合还不够——因为检测器的query在解码时需要一个综合了全局多尺度信息的特征表示。如果逐层的融合特征各自为政没有在最后形成统一视图解码器就得自己在庞大的特征金字塔里挑选合适层级训练负担无形中加大。后端聚合融合Backend Aggregation Fusion, BAF就是干这个活的在检测头之前设置一个轻量聚合模块把P2到P5多个阶段产生的融合特征收集起来动态分配权重产出统一的聚合特征供DEIM解码器使用。3.2 后端聚合模块的具体结构聚合模块的核心叫Adaptive Gated AggregationAGA。结构不复杂但细节决定成败对每一层融合特征F_ii2,3,4,5做全局平均池化得到一个长度为通道数的向量g_i将所有g_i拼接后送入一个两层MLP输出每个层级的动态权重标量w_i对每层特征执行F_i_aligned F_i * w_i的加权缩放将加权后的各层特征按通道拼接用1×1卷积压缩回DEIM decoder接受的通道数最后与P5的全局交互输出做残差连接形成聚合特征。为什么用“标量权重”而不是“通道级权重”我在最初版本里试过对每个通道学独立权重效果确实略好但训练开销大且容易过拟合。标量权重虽然简单但配合MLP的非线性映射已经足够表达层级优先级而且泛化性更好。做工程落地项目的话标量权重几乎是不二选择。3.3 动态权重为什么必须做归一化这个是实打实的经验坑。如果动态权重w_i不限制数值范围或没有在归一化后进行合理缩放训练早期MLP会把权重全压到数值最大的那一层上通常是P4或P5导致浅层融合结果被彻底忽略。我第一版训练里就遇到了这个问题测试阶段可视化权重时P2的权重永远是0.02左右浅层交互模块等于白做。修复方式很简单MLP最后一层用softmax处理强制让四层权重和为1。这样即使某一层在某些场景中权重低也不会被完全压死浅层特征始终有一个表达空间。3.4 聚合特征怎么喂给DEIM解码器聚合特征生成之后喂给DEIM的方式也有讲究。我没有直接把聚合特征替换掉所有编码器输入而是以残差形式加到DEIM编码器输出的特征上。也就是先让DEIM编码器在原有多尺度特征上做一轮目标encoding然后把后端聚合特征用1×1卷积对其通道后逐元素相加。这么做的好处是既保留了DEIM本身靠多尺度可变形注意力建立的稳定编码结果又把多模态融合的信息强制性注入解码端。query初始化也做了一点改造。DEIM默认用一组learned embedding作为object query我在这个基础上把聚合特征的全局平均池化向量拼接到query embedding里相当于让每个query天然携带一个“整幅图处于什么模态状态”的先验信息。实测对夜间弱光目标的召回率提升明显。4. 训练策略与损失设计DEIM混合匹配下的多模态约束4.1 DEIM混合匹配策略适配多模态的改造DEIM原版使用的是倒置匹配和匹配密度的混合策略。放到双模态里我保留了这套框架但在匹配成本计算里加了两个多模态专属项在两路特征下分别计算分类成本取平均或取较大值。我实验里取较大值效果更稳定——这相当于让匹配对“两路都认为像目标”的预测给出更低成本对“一路认为像、另一路认为不像”的模糊预测更高成本从而逼着模型在训练阶段就学会模态一致性增加一个简单的模态差异惩罚项计算目标GT框中心点在RGB和IR特征上的响应差异差异越大匹配成本越高。这是为了抑制两路特征严重不一致的情况防止deocder学到“只看一路特征也能糊弄过去”的捷径。这个惩罚放在损失里不要过重建议系数0.1~0.2。太大了会造成模态强的数据占据主导模态弱的数据几乎不被学习。4.2 损失函数组合与梯度均衡整体损失分四部分损失项说明权重分类损失DEIM标准CE loss来自query与GT匹配结果2.0Box回归损失GIoU L1匹配到的query与GT框回归5.0辅助融合损失Fusion Aux Loss多级交互各阶段输出上的额外检测监督1.0模态一致性损失Modality Consistency两路特征响应差异惩罚0.15辅助融合损失值得多说一句。我在MPI模块的P3、P4、P5三个层次上各挂了一个轻量检测头不是完整解码器就是简单的线性分类回归直接输出预测框和类别概率。这能让每级交互特征自己学出“独立可用”的检测能力而不是只做深层特征的附庸。实测这个损失让网络收敛速度提升明显尤其是训练到中期之后AP的波动明显变小。梯度均衡方面我没有用复杂的GradNorm之类的东西多模态检测loss量纲差异不大直接把上述四部分用固定权重相加即可。唯一要注意的是模态一致性损失的梯度过大时会反向破坏backbone的正常特征提取。如果训练时发现RGB分支或IR分支的特征图逐渐趋同可视化时两路特征越来越像就说明一致性损失权重太高了需要调低到0.05~0.1。4.3 训练超参数、数据增强与BN同步细节整个训练流程沿用DEIM的默认配置但以下几个方面必须按照双模态场景特殊处理数据增强。双模态训练最容易踩的坑是增强不一致。RGB做随机裁剪、翻转、色彩抖动没问题但IR图像做裁剪翻转时必须与RGB使用完全相同的几何参数否则两路特征的空间对应关系被破坏多级交互等于在错位上做融合。我统一使用albumentations里的ReplayCompose实现一次增强事件同时作用到两路图像上。BN同步。如果使用SyncBN有一个大坑RGB和IR分支的BN统计量不同它们对输入分布的敏感度完全不同。早期我直接在双分支共用一组SyncBN参数训练一度极不稳定。正确做法是两个backbone分别维护自己的BN参数互不干扰。到后端的融合模块和检测头部分再用统一的BN。EMA。目标检测端到端模型建议开启EMA衰减系数0.9998。这个尤其适合双模态模型因为两路特征的统计特性本身波动大EMA能有效平滑权重更新。5. 消融实验与效果对比渐进交互真的比一次性融合强吗5.1 数据集与评测协议我分别在两个公共双模态检测数据集上做了验证M3FD多光谱行人检测数据和DroneVehicle无人机视角车辆检测数据。前者考验中近距离的行人检测后者考验远距离小目标检测两者正好覆盖了多级融合最关心的两个难点——行人尺度多变和小目标分辨率不足。评价指标统一用COCO协议下的mAPIoU0.5:0.95、AP50、以及Recall100模型输入分辨率统一设置成800×800。所有实验用8张V100训练batch size单卡4总batch 32训练12个epoch热身期1个epoch。5.2 消融一融合层级对mAP的影响我做了四个对照实验A仅使用P4层一次性融合concat 1×1 convB仅浅层交互P2/P3检测头不加后端聚合C完整多级渐进交互P2~P5不加后端聚合D完整MPI 后端聚合融合即最终方案。结果如下M3FD上的mAP配置白天mAP夜间mAP计算量(GFLOPs)A: 单层P4融合52.843.1202B: 仅浅层交互51.245.6218C: 渐进交互无后端聚合54.348.1236D: MPI 后端聚合55.751.2245能看到几个关键趋势。第一单层P4融合在白天表现尚可但夜间掉点超过9个点说明浅层细节交互缺失对弱光场景伤害极大。第二仅浅层交互的配置在夜间比单层融合好但白天AP反而下降——这是因为没有高层语义融合时浅层交互会给强光场景引入冗余信息。第三完整方案MPI后端聚合在两个场景下都拿到最高分夜间提升尤其明显说明后端聚合让解码器真正用上了全链路融合信息。5.3 消融二后端聚合 vs 前端/中间融合针对融合位置我又做了一组对比固定其他部分不变融合方式夜间mAP参数量(M)仅前端输入拼接46.941.2仅中间融合P4 concat45.440.8MPI多级交互无后端聚合48.152.3MPI 后端聚合最终51.255.1数据很清楚前端拼接和中间concat在参数量低、但精度天花板低难以处理模态退化问题。而“MPI 后端聚合”的完整方案用约3M额外参数换来了近3个点的夜间mAP提升性价比很高。后端聚合的核心优势体现在多尺度信息的综合利用率上——没有聚合模块时解码器对某些空域位置的query不知道该去哪个尺度取信息聚合模块相当于给每个query配了一张“哪个层级最值得参考”的说明书。5.4 与主流双模态检测器的对比结果在M3FD上我将最终方案与几种公开的双模态检测方法做了对比方法夜间mAPAP50参数量早期双流concat检测器44.271.541.0M基于注意力交互的双模态检测器46.874.347.6MDEIM单模态RGB only43.570.142.0M本文方案MPI BAF DEIM51.280.455.1M夜间mAP直接拉出7.7个点的领先幅度。单从数字看似乎复杂了许多但仔细分析核心增益其实来自三处一是DEIM的倒置匹配稳住了匹配质量二是多级渐进交互确保浅层信息不被深层覆盖三是后端聚合让解码器有了全局决策依据。在DroneVehicle无人机视角小目标检测上的结果也类似——远处小目标场景下浅层交互P2/P3带来的贡献甚至超过高层融合因为小目标在深层特征上几乎语义全无完全靠浅层保留的空间细节撑着。6. 工程落地与部署注意点精度之外容易被忽视的坑6.1 模型大小与推理速度权衡把两路backbone和一堆交互模块堆上去之后FLOPs很容易翻倍甚至更多。我在工程化阶段做的第一个取舍是把两个ResNet-50换成一个共享权重、一个独立权重的非对称结构RGB分支使用较大模型IR分支使用较浅模型ResNet-34甚至ResNet-18。原因是红外图像的纹理信息少、语义层次浅用一个太深的网络去提取红外特征收益极低。反而是RGB分支需要足够的深度去提取细节纹理。这种非对称设计在实验中精度几乎不掉但推理速度提升了约20%。如果你要部署到边缘设备如无人机、车载盒子这个优化非常关键。6.2 红外与可见光配准误差对训练的影响公开数据集里的红外和可见光图像多半已经做过粗略配准但实际搭系统时两路相机物理安装位置不同、焦距不同拍摄出来的画面存在空间错位。直接训练会导致浅层交互模块学到“模糊对齐”的权重泛化能力极差。我的经验是在输入层之前强制做一个轻量的空间对齐预处理。具体做法是用一个固定参数的仿射变换网格Affine Grid对RGB图像按其与IR的固定偏移量做平移缩放再做线性插值。这个偏移量在部署现场标定一次即可。虽然看着简陋但比让网络自己学会抗错位要可靠得多也省下了大量训练时间。6.3 训练过程中的额外经验与排坑记录最后分享几个实操中踩过的坑希望能帮后来者少走弯路第一交互模块的初始化要小心。差分注意力门控里的sigmoid在初始化时很容易把门控值压到0.5附近导致两路特征被无脑平均。我建议把sigmoid前的偏置设置成2或3初始化后门控更接近“按原样保留各自特征”的状态让网络从“先各自独立提取”出发再逐步学到“何时该融合”。第二批次内模态平衡问题。训练数据的batch里不可能保证白天、夜间、雾天样本均匀分布。我试过直接混训发现奇数batch里全夜间的图片会把模型的颜色通道参数带偏造成白天图片泛化下降。解决方案是给每一个训练batch里硬性加入至少30%的各种光照条件混合数据或者使用GroupBatchSampler按场景类型分组取样本。第三如果编码器部分使用的是Deformable DETR系列的可变形注意力两路特征的sample offset是共享的。这个在物理上是不合理的RGB和IR的局部变形结构完全不同。不过这并非致命问题可变形注意力训练后期会自适应地学到两路可接受的offset范围。如果追求极致精度可以给两路各配一组offset参数但这会让训练时间增加15%左右视项目预算取舍。DEIM这套倒置匹配机制在双模态任务上的巨大价值我认为还没有被完全挖掘。它天然规避了跨模态匹配歧义问题稳定性和收敛速度都显著优于传统DETR类方案。我目前的这套MPIBAF架构是一个值得复现的基线如果你在夜间或弱光目标检测场景里遇到瓶颈建议顺着这个框架去改造效果大概率不会让你失望。后续我还在尝试把红外热成像的物理特性温度梯度作为先验知识加入匹配成本项也有了初步的正面反馈。有做同类方向的朋友欢迎一起交流细节。
