论文阅读笔记五YOLOV11-RGBT: TOWARDS A COMPREHENSIVE SINGLE-STAGE MULTISPECTRAL OBJECT DETECTION FRAMEWORK现在可见光-红外RGBT多光谱检测有一堆融合方案但大多是零散的、针对特定模型而且默认RGB和红外一样重要经常出现融合之后效果反而不如单模态。作者想做一套通用、单阶段、可灵活切换融合方式的RGBT检测框架并且提出P3中层融合MCF可控微调两个核心策略来解决模态权重失衡的痛点。目录论文阅读笔记五YOLOV11-RGBT: TOWARDS A COMPREHENSIVE SINGLE-STAGE MULTISPECTRAL OBJECT DETECTION FRAMEWORK一、这篇论文解决了什么问题二、关于这个问题其它学者提出了哪几类的解决方案有何缺陷三、作者围绕该问题是如何构建解决思路的四、从结果含曲线上看作者是如何有力地证明他解决了问题五、这篇论文的缺陷在哪六、论文可以借鉴的地方文章信息标题YOLOV11-RGBT: TOWARDS A COMPREHENSIVE SINGLE-STAGE MULTISPECTRAL OBJECT DETECTION FRAMEWORK来源arXiv年份2025年作者Dahang Wan, Rongsheng Lu, Yang Fang, Xianli Lang, Shuangbao Shu, Jingjing Chen, Siyuan Shen, Ting Xu, Zecong Ye一、这篇论文解决了什么问题在可见光-红外RGBT多光谱目标检测任务中现有中层融合方案普遍存在模态权重不均衡的痛点不同数据集的优势模态不一样FLIR、LLVIP红外效果更好VEDAI可见光更强直接将RGB与红外特征融合时弱势模态会引入噪声经常出现融合之后精度反而不如单独使用优势单模态的情况同时现有RGBT融合方案大多是定制化结构只能适配某一个检测器缺少一套通用、可对比多种融合范式的实验框架很多研究直接在P3、P4、P5全部做融合盲目增加融合节点带来特征冗余、计算开销上升。本文目标搭建一套通用RGBT检测框架YOLOv11-RGBT支持6种可插拔融合范式能够迁移到 YOLOv3~v12、RT-DETR等多种单阶段检测器提出P3单节点中层融合方案减少多位置融合带来的特征冗余提出MCF可控微调训练策略解决模态不平衡、融合后性能退化的问题保证融合结果保底不低于优势单模态并且能够稳定涨点。二、关于这个问题其它学者提出了哪几类的解决方案有何缺陷前人方案一共分为三大类就是经典的早/中/晚融合路线还有一些改进注意力融合模块1.早期融合像素级融合做法RGB图和红外图在输入阶段直接通道拼接送入单个骨干网络提取特征。缺陷原始图像噪声大两个模态像素分布差异巨大容易互相干扰对配准误差敏感计算量大。2.中层融合特征级融合当前主流比如 CFT、ICAFusion 等RGB、红外双分支各自提取特征在 P3/P4/P5 多层特征图上做 Add/Concat 融合再送入 Neck、Head 检测缺陷大多默认 RGB、红外两个模态同等重要没有考虑模态不均衡很多工作直接三层全部融合信息冗余训练时两个分支同时更新权重优势模态学到的特征容易被弱势模态污染容易出现融合掉点模块往往是定制化的通用性差很难迁移到别的检测器3.晚期融合 / 分数融合决策级融合两个独立网络分别完成检测最后只融合检测框 NMS 或者置信分数缺陷两个模态在特征层面完全没有信息交互只在最后结果层面融合模态之间互补信息利用不充分涨点上限低。4.权重共享方案套骨干权重同时处理 RGB、红外图像缺陷强迫网络去学习两种差异很大光谱的通用特征表征能力有限在复杂场景效果一般。三、作者围绕该问题是如何构建解决思路的整体思路分三步搭建通用平台→优化融合位置→设计可控的训练范式1.搭建YOLOv11-RGB 双分支通用框架将以下6种融合方式做成可插拔模块统一训练超参作为公平对比的实验平台支持YOLO系列、RT-DETR等多种检测器。范式名称核心流程核心优点主要局限早期融合输入层直接融合简单直接保留完整原始信息信息损失极少易受原始数据噪声干扰模态间特征差异易引发冲突中层融合特征图层级融合主流方案多模态特征交互充分融合效果较好易引入冗余特征融合策略不当可能导致性能下降中后融合临近检测头处融合保留更多模态独有特征兼顾交互与独立性融合节点较晚模态间信息互补的程度不够充分晚期融合结果层面决策融合模态间互不干扰鲁棒性强系统运行稳定可靠特征层面无交互多模态信息利用率较低性能上限有限分数融合置信度分数加权融合工程实现简单不改变检测框坐标部署成本低仅利用置信度分数融合粒度较粗难以挖掘深层特征权重共享骨干网络权重共享模型参数量小轻量化程度高推理速度快参数耦合度高难以单独学习到各模态的特有特征2.优化融合位置P3单节点中层融合。P3特征偏向细节、对小目标很关键P4、P5 高层特征语义性强跨模态交互收益低。只在 P3 位置做跨模态融合放弃 P4、P5 的融合减少冗余特征和噪声引入。3.提出MCF可控微调策略核心创新解决模态失衡① 先单独训练优势模态数据集上表现更好的那一路比如FLIR数据集单独训练红外分支训练完成后冻结这个优势分支全部权重② 次要模态单独走另一路分支通过初始权重全0的ZeroConv把次要模态特征加到主分支上③ ZeroConv初始输出为0训练初期完全依靠已经学好的优势模态保底在训练过程中慢慢学习次要模态的补充信息不会污染主分支学到的有效特征从根源避免融合后掉点。四、从结果含曲线上看作者是如何有力地证明他解决了问题作者采用由浅入深的消融实验多数据集验证和SOTA对比特征可视化来证明1.单模态基线对照先在FLIR、LLVIP、M3FD、KAIST、VEDAI五个数据集上统一超参训练所有YOLO版本的RGB、红外单模基线确定每个数据集谁是优势模态作为性能下限。FLIR数据集仅使用可见光(RGB)的结果FLIR数据集仅使用红外(IR)的结果这是一个重要基线与表2对比发现红外模型在FLIR上的性能远高于可见光模型因为数据集多为夜间/恶劣天气。LLVIP数据集对比结果不含预训练在行人检测专用数据集LLVIP上对比各种模型在RGB、IR、RGBIR、RGBIR(P3)四种模式下的表现。同样发现纯IR表现极强传统多光谱融合甚至不如纯IR。M3FD数据集对比结果不含预训练在白天/多场景数据集M3FD上情况与FLIR夜间偏多不同这里多光谱模型RGBIR和P3融合模型普遍优于单模态模型说明融合策略的效果高度依赖于数据集特性。2.消融融合位置对比传统三层 Midfusion (P3P4P5)与本文 P3 单点 Midfusion的 mAP 指标。实验证明在 FLIR、LLVIP 这类红外占优数据集仅 P3 融合优于三层融合证明过多融合节点引入特征冗余。FLIR数据集传统多光谱融合(Midfusion)结果使用P3-P5多级融合策略的结果。部分模型优于纯RGB但很多不如纯红外。FLIR数据集P3中层融合(Midfusion-P3)结果下表为作者提出的单节点仅P3融合结果。与表4对比参数量大幅下降且大部分模型的AP反而提升了例如YOLOv11n从73.22%提升至74.41%证明了“少即是多”。3.消融训练策略核心对比三组训练方案①随机从头训练双分支②COCO 预训练迁移微调③P3 融合 MCF 多光谱可控微调。实验发现直接 COCO 迁移联合训练经常打不过优势单模态而 MCF 策略 mAP 稳定≥优势单模态不会发生性能退化。迁移学习结果Fig.5证明了一个关键痛点——加载COCO预训练权重后多光谱模型斜线柱的性能往往不如纯红外模型因为初始化权重相似导致特征冗余。同时证明了Midfusion-P3深蓝柱在多数情况下优于传统Midfusion。MCF策略在不同超参数下的比较Fig.6证明了MCF策略实心蓝柱全面超越了纯红外模型白柱和普通预训练模型斜线柱。说明通过冻结红外主分支、微调可见光分支能够有效打破多光谱迁移学习的性能瓶颈。FLIR MCF 超参消融FLIR数据集综合对比含预训练权重这是核心结果表对比了最新的YOLOv11系列纯RGB、纯IR、Midfusion、Midfusion-P3、MCF以及近年顶会论文的方法如YOLOv5-CFT、CSAA等。证明了YOLOv11x-RGBT-MCF以47.61%的AP取得了最优成绩。4.证明融合策略的差异在M3FD数据集上对比发现大多数情况下中期融合优于早期和晚期融合这为提出P3融合提供了实证基础。5.与现有 SOTA 方法横向对比证明整体算法先进性详见文中Tab.7FLIR SOTA对比和Tab.9LLVIP SOTA对比通过和 CFT、ICAFusion、Fusion‑Mamba 等近年RGBT检测算法对比 mAP本文YOLOv11x‑RGBT‑MCF取得最优指标。6.定性可视化特征图 检测样例直观解释融合为什么有效通过以下热力图直观地证明了融合的有效性。例如在烟雾场景中纯RGB特征丢失了行人而融合模型最右列不仅捕捉到了行人红框还清晰显示了车辆说明多光谱融合成功整合了不同波段的优势。下图是YOLOv11-RGBT-MCF模型在M3FD和VEDAI数据集上的实际检测效果图包含了复杂背景、低辨识度、不均匀光照、烟雾、雨天、夜间和低角度拍摄等场景直观展示了模型在各种极端恶劣条件下的高检测精度和强鲁棒性。五、这篇论文的缺陷在哪强依赖图像配准对齐本文所有实验的RGB-红外图像都是已经精准配准好的成对图像如果图像存在偏移、错位未配准场景融合效果会大幅下降算法无法直接使用。不是自适应方案需要实验者提前分别跑单模态人工判断哪个模态是优势模态手动设置冻结主分支网络不能自动判断当前场景哪一个模态更可靠自动切换融合策略。任务局限只做目标检测没有拓展到分割、关键点跟踪等其他多光谱视觉任务。MCF 带来额外推理分支开销虽然冻结了主分支但是推理阶段仍然保留双分支相比单模态模型参数量、推理延迟更高对嵌入式端部署不够友好部分数据集上收益有限在 M3FD 这类两个模态本身都很强、互补性均衡的数据集上MCF 的提升幅度比较小提升主要集中在模态差异大的数据集FLIR、LLVIP。六、论文可以借鉴的地方创新点1.提出 MCF 多模态可控微调策略核心创新解决模态不平衡痛点借鉴点直接加载可见光的COCO预训练权重到多光谱双分支网络会导致两个分支提取的特征高度同质化冗余性能甚至不如单模态。作者借鉴了ControlNet的思想提出了MCF策略。启发在做多模态融合时不要理所当然地把各个模态视为同等重要冻结表现更好的主模态如红外网络利用初始权重为0的Zero Conv2d层将另一模态如可见光的特征注入到冻结模型中。这种“主辅分支零初始化注入”的微调方式既保留了预训练模型的强大先验知识又实现了跨模态信息的有效融合非常值得在其他多模态如文本图像、点云图像任务中借鉴。2.消融得出结论浅层P3单点中层融合优于 P3P4P5 多层融合借鉴点传统多光谱融合喜欢在骨干网络的P3、P4、P5多个层级反复融合特征。这篇论文通过实验证明过多的融合节点反而会引入特征冗余和干扰。启发作者提出仅在P3层进行一次融合Midfusion-P3在保证甚至提升mAP的同时大幅降低了模型参数量和计算量。这提醒我们在做多模态/多特征融合时“在正确的位置融合一次”往往比“到处融合”更有效。3.高度统一的单阶段检测框架借鉴点很多多光谱论文只针对某一个特定模型如YOLOv5进行改进。本文构建了一个通用的框架成功将六种融合模式早期、中层、中后、晚期、分数、权重共享适配到了YOLOv3到YOLOv12、RT-DETR、PP-YOLOE等多个主流单阶段模型上。启发在工程落地或写论文时将改进方案模块化、通用化不仅证明了方法的泛化能力也大大提升了论文的工程价值和被引用的概率。
论文阅读笔记五YOLOV11-RGBT: TOWARDS A COMPREHENSIVE SINGLE-STAGE MULTISPECTRAL OBJECT DETECTION FRAMEWORK现在可见光-红外RGBT多光谱检测有一堆融合方案但大多是零散的、针对特定模型而且默认RGB和红外一样重要经常出现融合之后效果反而不如单模态。作者想做一套通用、单阶段、可灵活切换融合方式的RGBT检测框架并且提出P3中层融合MCF可控微调两个核心策略来解决模态权重失衡的痛点。目录论文阅读笔记五YOLOV11-RGBT: TOWARDS A COMPREHENSIVE SINGLE-STAGE MULTISPECTRAL OBJECT DETECTION FRAMEWORK一、这篇论文解决了什么问题二、关于这个问题其它学者提出了哪几类的解决方案有何缺陷三、作者围绕该问题是如何构建解决思路的四、从结果含曲线上看作者是如何有力地证明他解决了问题五、这篇论文的缺陷在哪六、论文可以借鉴的地方文章信息标题YOLOV11-RGBT: TOWARDS A COMPREHENSIVE SINGLE-STAGE MULTISPECTRAL OBJECT DETECTION FRAMEWORK来源arXiv年份2025年作者Dahang Wan, Rongsheng Lu, Yang Fang, Xianli Lang, Shuangbao Shu, Jingjing Chen, Siyuan Shen, Ting Xu, Zecong Ye一、这篇论文解决了什么问题在可见光-红外RGBT多光谱目标检测任务中现有中层融合方案普遍存在模态权重不均衡的痛点不同数据集的优势模态不一样FLIR、LLVIP红外效果更好VEDAI可见光更强直接将RGB与红外特征融合时弱势模态会引入噪声经常出现融合之后精度反而不如单独使用优势单模态的情况同时现有RGBT融合方案大多是定制化结构只能适配某一个检测器缺少一套通用、可对比多种融合范式的实验框架很多研究直接在P3、P4、P5全部做融合盲目增加融合节点带来特征冗余、计算开销上升。本文目标搭建一套通用RGBT检测框架YOLOv11-RGBT支持6种可插拔融合范式能够迁移到 YOLOv3~v12、RT-DETR等多种单阶段检测器提出P3单节点中层融合方案减少多位置融合带来的特征冗余提出MCF可控微调训练策略解决模态不平衡、融合后性能退化的问题保证融合结果保底不低于优势单模态并且能够稳定涨点。二、关于这个问题其它学者提出了哪几类的解决方案有何缺陷前人方案一共分为三大类就是经典的早/中/晚融合路线还有一些改进注意力融合模块1.早期融合像素级融合做法RGB图和红外图在输入阶段直接通道拼接送入单个骨干网络提取特征。缺陷原始图像噪声大两个模态像素分布差异巨大容易互相干扰对配准误差敏感计算量大。2.中层融合特征级融合当前主流比如 CFT、ICAFusion 等RGB、红外双分支各自提取特征在 P3/P4/P5 多层特征图上做 Add/Concat 融合再送入 Neck、Head 检测缺陷大多默认 RGB、红外两个模态同等重要没有考虑模态不均衡很多工作直接三层全部融合信息冗余训练时两个分支同时更新权重优势模态学到的特征容易被弱势模态污染容易出现融合掉点模块往往是定制化的通用性差很难迁移到别的检测器3.晚期融合 / 分数融合决策级融合两个独立网络分别完成检测最后只融合检测框 NMS 或者置信分数缺陷两个模态在特征层面完全没有信息交互只在最后结果层面融合模态之间互补信息利用不充分涨点上限低。4.权重共享方案套骨干权重同时处理 RGB、红外图像缺陷强迫网络去学习两种差异很大光谱的通用特征表征能力有限在复杂场景效果一般。三、作者围绕该问题是如何构建解决思路的整体思路分三步搭建通用平台→优化融合位置→设计可控的训练范式1.搭建YOLOv11-RGB 双分支通用框架将以下6种融合方式做成可插拔模块统一训练超参作为公平对比的实验平台支持YOLO系列、RT-DETR等多种检测器。范式名称核心流程核心优点主要局限早期融合输入层直接融合简单直接保留完整原始信息信息损失极少易受原始数据噪声干扰模态间特征差异易引发冲突中层融合特征图层级融合主流方案多模态特征交互充分融合效果较好易引入冗余特征融合策略不当可能导致性能下降中后融合临近检测头处融合保留更多模态独有特征兼顾交互与独立性融合节点较晚模态间信息互补的程度不够充分晚期融合结果层面决策融合模态间互不干扰鲁棒性强系统运行稳定可靠特征层面无交互多模态信息利用率较低性能上限有限分数融合置信度分数加权融合工程实现简单不改变检测框坐标部署成本低仅利用置信度分数融合粒度较粗难以挖掘深层特征权重共享骨干网络权重共享模型参数量小轻量化程度高推理速度快参数耦合度高难以单独学习到各模态的特有特征2.优化融合位置P3单节点中层融合。P3特征偏向细节、对小目标很关键P4、P5 高层特征语义性强跨模态交互收益低。只在 P3 位置做跨模态融合放弃 P4、P5 的融合减少冗余特征和噪声引入。3.提出MCF可控微调策略核心创新解决模态失衡① 先单独训练优势模态数据集上表现更好的那一路比如FLIR数据集单独训练红外分支训练完成后冻结这个优势分支全部权重② 次要模态单独走另一路分支通过初始权重全0的ZeroConv把次要模态特征加到主分支上③ ZeroConv初始输出为0训练初期完全依靠已经学好的优势模态保底在训练过程中慢慢学习次要模态的补充信息不会污染主分支学到的有效特征从根源避免融合后掉点。四、从结果含曲线上看作者是如何有力地证明他解决了问题作者采用由浅入深的消融实验多数据集验证和SOTA对比特征可视化来证明1.单模态基线对照先在FLIR、LLVIP、M3FD、KAIST、VEDAI五个数据集上统一超参训练所有YOLO版本的RGB、红外单模基线确定每个数据集谁是优势模态作为性能下限。FLIR数据集仅使用可见光(RGB)的结果FLIR数据集仅使用红外(IR)的结果这是一个重要基线与表2对比发现红外模型在FLIR上的性能远高于可见光模型因为数据集多为夜间/恶劣天气。LLVIP数据集对比结果不含预训练在行人检测专用数据集LLVIP上对比各种模型在RGB、IR、RGBIR、RGBIR(P3)四种模式下的表现。同样发现纯IR表现极强传统多光谱融合甚至不如纯IR。M3FD数据集对比结果不含预训练在白天/多场景数据集M3FD上情况与FLIR夜间偏多不同这里多光谱模型RGBIR和P3融合模型普遍优于单模态模型说明融合策略的效果高度依赖于数据集特性。2.消融融合位置对比传统三层 Midfusion (P3P4P5)与本文 P3 单点 Midfusion的 mAP 指标。实验证明在 FLIR、LLVIP 这类红外占优数据集仅 P3 融合优于三层融合证明过多融合节点引入特征冗余。FLIR数据集传统多光谱融合(Midfusion)结果使用P3-P5多级融合策略的结果。部分模型优于纯RGB但很多不如纯红外。FLIR数据集P3中层融合(Midfusion-P3)结果下表为作者提出的单节点仅P3融合结果。与表4对比参数量大幅下降且大部分模型的AP反而提升了例如YOLOv11n从73.22%提升至74.41%证明了“少即是多”。3.消融训练策略核心对比三组训练方案①随机从头训练双分支②COCO 预训练迁移微调③P3 融合 MCF 多光谱可控微调。实验发现直接 COCO 迁移联合训练经常打不过优势单模态而 MCF 策略 mAP 稳定≥优势单模态不会发生性能退化。迁移学习结果Fig.5证明了一个关键痛点——加载COCO预训练权重后多光谱模型斜线柱的性能往往不如纯红外模型因为初始化权重相似导致特征冗余。同时证明了Midfusion-P3深蓝柱在多数情况下优于传统Midfusion。MCF策略在不同超参数下的比较Fig.6证明了MCF策略实心蓝柱全面超越了纯红外模型白柱和普通预训练模型斜线柱。说明通过冻结红外主分支、微调可见光分支能够有效打破多光谱迁移学习的性能瓶颈。FLIR MCF 超参消融FLIR数据集综合对比含预训练权重这是核心结果表对比了最新的YOLOv11系列纯RGB、纯IR、Midfusion、Midfusion-P3、MCF以及近年顶会论文的方法如YOLOv5-CFT、CSAA等。证明了YOLOv11x-RGBT-MCF以47.61%的AP取得了最优成绩。4.证明融合策略的差异在M3FD数据集上对比发现大多数情况下中期融合优于早期和晚期融合这为提出P3融合提供了实证基础。5.与现有 SOTA 方法横向对比证明整体算法先进性详见文中Tab.7FLIR SOTA对比和Tab.9LLVIP SOTA对比通过和 CFT、ICAFusion、Fusion‑Mamba 等近年RGBT检测算法对比 mAP本文YOLOv11x‑RGBT‑MCF取得最优指标。6.定性可视化特征图 检测样例直观解释融合为什么有效通过以下热力图直观地证明了融合的有效性。例如在烟雾场景中纯RGB特征丢失了行人而融合模型最右列不仅捕捉到了行人红框还清晰显示了车辆说明多光谱融合成功整合了不同波段的优势。下图是YOLOv11-RGBT-MCF模型在M3FD和VEDAI数据集上的实际检测效果图包含了复杂背景、低辨识度、不均匀光照、烟雾、雨天、夜间和低角度拍摄等场景直观展示了模型在各种极端恶劣条件下的高检测精度和强鲁棒性。五、这篇论文的缺陷在哪强依赖图像配准对齐本文所有实验的RGB-红外图像都是已经精准配准好的成对图像如果图像存在偏移、错位未配准场景融合效果会大幅下降算法无法直接使用。不是自适应方案需要实验者提前分别跑单模态人工判断哪个模态是优势模态手动设置冻结主分支网络不能自动判断当前场景哪一个模态更可靠自动切换融合策略。任务局限只做目标检测没有拓展到分割、关键点跟踪等其他多光谱视觉任务。MCF 带来额外推理分支开销虽然冻结了主分支但是推理阶段仍然保留双分支相比单模态模型参数量、推理延迟更高对嵌入式端部署不够友好部分数据集上收益有限在 M3FD 这类两个模态本身都很强、互补性均衡的数据集上MCF 的提升幅度比较小提升主要集中在模态差异大的数据集FLIR、LLVIP。六、论文可以借鉴的地方创新点1.提出 MCF 多模态可控微调策略核心创新解决模态不平衡痛点借鉴点直接加载可见光的COCO预训练权重到多光谱双分支网络会导致两个分支提取的特征高度同质化冗余性能甚至不如单模态。作者借鉴了ControlNet的思想提出了MCF策略。启发在做多模态融合时不要理所当然地把各个模态视为同等重要冻结表现更好的主模态如红外网络利用初始权重为0的Zero Conv2d层将另一模态如可见光的特征注入到冻结模型中。这种“主辅分支零初始化注入”的微调方式既保留了预训练模型的强大先验知识又实现了跨模态信息的有效融合非常值得在其他多模态如文本图像、点云图像任务中借鉴。2.消融得出结论浅层P3单点中层融合优于 P3P4P5 多层融合借鉴点传统多光谱融合喜欢在骨干网络的P3、P4、P5多个层级反复融合特征。这篇论文通过实验证明过多的融合节点反而会引入特征冗余和干扰。启发作者提出仅在P3层进行一次融合Midfusion-P3在保证甚至提升mAP的同时大幅降低了模型参数量和计算量。这提醒我们在做多模态/多特征融合时“在正确的位置融合一次”往往比“到处融合”更有效。3.高度统一的单阶段检测框架借鉴点很多多光谱论文只针对某一个特定模型如YOLOv5进行改进。本文构建了一个通用的框架成功将六种融合模式早期、中层、中后、晚期、分数、权重共享适配到了YOLOv3到YOLOv12、RT-DETR、PP-YOLOE等多个主流单阶段模型上。启发在工程落地或写论文时将改进方案模块化、通用化不仅证明了方法的泛化能力也大大提升了论文的工程价值和被引用的概率。
