CVPR2026CHAL先学背景再找异常让运动红外小目标更容易被发现1. 一句话总结红外小目标太小、太暗容易与背景干扰混淆。CHAL先学习背景再通过外观异常、运动验证和因果引导定位目标在三个红外数据集上均取得表中最佳的平均精度与F1分数。2. 论文信息题目CHAL: Causal-guided Hierarchical Anomaly-aware Learning for Moving Infrared Small Target Detection | 面向运动红外小目标检测的因果引导分层异常感知学习发表CVPR 2026作者Weiwei Duan、Luping Ji*、Shipeng Lei、Sicheng Zhu、Jianghong Huang、Mao Ye单位电子科技大学计算机科学与工程学院代码https://github.com/UESTC-nnLab/CHAL3. 论文摘要目前的方法大多是直接学习目标特征但是微弱的目标没有稳定的形状和纹理模型很容易受到云、边缘等背景的影响而产生误导。因果引导分层异常感知学习Causal-guided Hierarchical Anomaly-aware LearningCHAL转而进行背景建模在时空神经场中预测正常的背景并分层次地识别和检验出异常情况最后用因果引导来抑制虚假的相关性在红外检测以及可见光遥感车辆检测中都得到了证实。4. 主要创新之处创新 1以背景为中心的检测方法把运动红外小目标检测(Moving Infrared Small Target DetectionMISTD)看作一个异常检测问题来解决由于使用微弱的目标特征所造成的困难。创新 2时空神经场建模背景学习背景连续的时空演化规律可以用来判断出异常的地方。创新 3由外而内、由表及里、由静到动把外观和运动异常感知的过程分成两步来完成第一步是选出一些可能存在的地方第二步就是用运动的一致性来辨别出真实的物体和虚假的异常。创新4因果关系引导在特征空间里做干预来消除由于背景干扰所造成的假相关并且使真正的目标对于检测起着更大的作用。5. 方法详解5.1 问题的界定以及整个体系的大致结构给定连续帧的红外图像作为输入得到最后时刻目标检测的结果。共享的CSPDarknet抽取不同尺度上的特征并经过时空神经场、分层异常感知以及因果关系引导之后再由YOLOX进行检测。图 1. 检测方式的不同之处由原来的直接学习目标变为现在的学习背景、找出异常。图 2. 结构因果模型以及因果推理的结果可以阻断背景混杂路径并加强真实的因果关系。图 3. CHAL的整体结构是多帧的输入依次通过背景预测、异常检测和确认、因果推理之后再输出检测的结果。5.2 时空神经场创建背景参照时空神经场Spatio-Temporal Neural FieldsSNF把多个帧的特征结合起来并且用两个分支来表示静态的外观和动态的运动另外还对三维的空间坐标做傅立叶的位置编码背景预测按照论文中给出的公式来进行映射为拼接后的场景编码、为位置编码得到的查询信号、为参数为的背景神经场、为预测背景。公式解释在场景、上下文以及位置等信息的基础上推断出正常的特征表示并以此作为后面异常判断的标准。5.3 分层异常感知先发现后验证分层异常感知学习Hierarchical Anomaly-Aware LearningHAL首先对每一帧的特征和预测背景进行对比其中和分别表示第帧的特征以及预测背景在空间位置上用来表示计算余弦相似度表示内积操作而则是指二范数是一个包含残差连接的三层卷积异常放大器它会给出外观异常的结果。公式解释背景差距越大候选异常响应就越强但是仍然会有杂波存在。所以模型继续使用三维Swin Transformer来建立时空关系、重构异常序列以及学习每一帧的重要性权重最后得到经过运动一致性的检验后的最终异常。5.4 因果关系引导消除背景干扰因果关系引导Causal Relation GuidingCRG采用的是后门调整的方法并且用可微分门控来近似处理动态背景干扰的问题把归一化之后按照阈值为进行分层缩放使得高异常响应被加强而低异常响应被削弱从而得到一个异常分数最后对特征进行调节是经过外观注意力处理后的关键帧特征代表逐元素相乘操作为门控之后得到的特征是经过两层卷积细化模块得到的结果而则是送入到检测头之前的最后一步特征。公式解释用已知的异常分数来控制各个地方特征增强的程度然后用卷积来细化这些效果从而把目标凸显出来而把背景干扰压制下去。5.5 损失函数其中和分别对目标出现的概率以及类别进行限制两者都使用了Sigmoid Focal Loss利用归一化的Wasserstein距离NormalizedWassersteinDistanceNWD来约束位置信息其权重值为、。公式解释总检测损失用反向传播的方式来隐式的监督三个模块论文并没有另外设置背景重建损失或者单独的因果损失。❝一句话概括该方法就是学好背景、找出现象、用运动来检验、最后再引导检测。6. 实验结果6.1 实验条件实验用的是DAUB-H、NUDT-MIRSDT和IRDST-R三种方法输入尺寸为多帧的方法都统一为帧训练了轮每批大小为用AdamW算法初始的学习率为权重衰减系数为评价指标有准确率Precision、召回率Recall、F1分数以及交并比Intersection over UnionIoU阈值为时的平均精度均值mean AveragePrecision等比较的对象有ISNet、PConv、SSTNet、Tridos、DTUM等速度测试使用的是RTX 4090显卡。6.2 定量的结果在三个数据集中CHAL的/F1值都处于最好的位置DAUB-H的值是54.28%/74.15%NUDT-MIRSDT是75.25%/87.41%IRDST-R是71.37%/84.76%。和它最接近的方法相比平均精度提高了2.03、2.24、3.16个百分点。但是精确率并不一定都领先在IRDST-R中召回率为 83.02%是最差的一个。表 1. 定量比较和计算开销红色和蓝色表示最好的和第二好的结果在多帧的方法中都用了五帧在RTX 4090上进行测试。图 4. DAUB-H和NUDT-MIRSDT上部分精确率-召回率曲线比较。6.3 定性结果在树荫下、弱目标和云层遮挡的目标中CHAL的示例检测更为准确而 PConv 和 DTUM 则存在漏检或者误检的情况。图 5. 三个不同数据集上检测结果的可视化比较蓝色方块为漏报点黄色圆圈为误报点。6.4 可见光场景拓展在RsCarData遥感车辆检测任务上CHAL的、F1分别为57.37%、76.14%相比于次优的 STF 提升了4.96、4.41个百分点召回率为 71.78%仍然小于 STF 的75.25%。这是对检测框架进行跨成像场景验证的一个例子。表 4. 可见光场景性能比较三角形标记表示用连续五帧的方法来计算。6.5 消融实验在DAUB-H上基线、加入SNF、再加入HAL、完整的模型的分别为 23.48%43.76%48.63%54.28%。用通用注意力代替CRG会降低性能和 CBAM 相比CRG在两个消融数据集中分别提高了3.83和5.07个百分点。对于不同异常程度和颜色、纹理、运动等异常情况的测试也证明了分层验证的重要性。表 2. DAUB-H和NUDT-MIRSDT上各种配置下的消融结果以及计算成本。表 3. 通用注意力和CRG的消融比较。图 6. 背景建模可视化第一、三列为输入图像和预测背景第二、四列为SNF前后三维响应。图 7. HAL中出现外貌异常、重建时间序列异常以及最后出现异常的情况下的特征分布情况即目标和背景之间的差别越来越大。图 8. CRG前后特征热图左边两列是DAUB-H右边两列是NUDT-MIRSDT。图 9. 不同大小和种类的异常所对应的消融情况。6.6 模型复杂度CHAL参数量为15.69M计算量为137.04****GFLOPs速度为12.96****FPSDTUM参数量为9.64M、计算量为128.16GFLOPs、速度为14.28FPS精度提高的同时伴随着更高的开销和更低的速度轻量化还有很大的空间。7. 结论和预测总结CHAL将背景学习、分层异常验证以及因果引导三者结合起来在三个红外基准上提高检测的效果并且推广到可见光车辆检测中去。该文还提到参数和计算开销比较大以后可以考虑用比较轻量级的异常感知方法以及高效的因果学习方法来代替。❝简单来说就是先弄清楚正常的背景情况然后再去检验出真正存在的异常情况从而给运动红外小目标检测带来一种新的建模思路。往期推荐
CVPR2026CHAL先学背景再找异常让运动红外小目标更容易被发现1. 一句话总结红外小目标太小、太暗容易与背景干扰混淆。CHAL先学习背景再通过外观异常、运动验证和因果引导定位目标在三个红外数据集上均取得表中最佳的平均精度与F1分数。2. 论文信息题目CHAL: Causal-guided Hierarchical Anomaly-aware Learning for Moving Infrared Small Target Detection | 面向运动红外小目标检测的因果引导分层异常感知学习发表CVPR 2026作者Weiwei Duan、Luping Ji*、Shipeng Lei、Sicheng Zhu、Jianghong Huang、Mao Ye单位电子科技大学计算机科学与工程学院代码https://github.com/UESTC-nnLab/CHAL3. 论文摘要目前的方法大多是直接学习目标特征但是微弱的目标没有稳定的形状和纹理模型很容易受到云、边缘等背景的影响而产生误导。因果引导分层异常感知学习Causal-guided Hierarchical Anomaly-aware LearningCHAL转而进行背景建模在时空神经场中预测正常的背景并分层次地识别和检验出异常情况最后用因果引导来抑制虚假的相关性在红外检测以及可见光遥感车辆检测中都得到了证实。4. 主要创新之处创新 1以背景为中心的检测方法把运动红外小目标检测(Moving Infrared Small Target DetectionMISTD)看作一个异常检测问题来解决由于使用微弱的目标特征所造成的困难。创新 2时空神经场建模背景学习背景连续的时空演化规律可以用来判断出异常的地方。创新 3由外而内、由表及里、由静到动把外观和运动异常感知的过程分成两步来完成第一步是选出一些可能存在的地方第二步就是用运动的一致性来辨别出真实的物体和虚假的异常。创新4因果关系引导在特征空间里做干预来消除由于背景干扰所造成的假相关并且使真正的目标对于检测起着更大的作用。5. 方法详解5.1 问题的界定以及整个体系的大致结构给定连续帧的红外图像作为输入得到最后时刻目标检测的结果。共享的CSPDarknet抽取不同尺度上的特征并经过时空神经场、分层异常感知以及因果关系引导之后再由YOLOX进行检测。图 1. 检测方式的不同之处由原来的直接学习目标变为现在的学习背景、找出异常。图 2. 结构因果模型以及因果推理的结果可以阻断背景混杂路径并加强真实的因果关系。图 3. CHAL的整体结构是多帧的输入依次通过背景预测、异常检测和确认、因果推理之后再输出检测的结果。5.2 时空神经场创建背景参照时空神经场Spatio-Temporal Neural FieldsSNF把多个帧的特征结合起来并且用两个分支来表示静态的外观和动态的运动另外还对三维的空间坐标做傅立叶的位置编码背景预测按照论文中给出的公式来进行映射为拼接后的场景编码、为位置编码得到的查询信号、为参数为的背景神经场、为预测背景。公式解释在场景、上下文以及位置等信息的基础上推断出正常的特征表示并以此作为后面异常判断的标准。5.3 分层异常感知先发现后验证分层异常感知学习Hierarchical Anomaly-Aware LearningHAL首先对每一帧的特征和预测背景进行对比其中和分别表示第帧的特征以及预测背景在空间位置上用来表示计算余弦相似度表示内积操作而则是指二范数是一个包含残差连接的三层卷积异常放大器它会给出外观异常的结果。公式解释背景差距越大候选异常响应就越强但是仍然会有杂波存在。所以模型继续使用三维Swin Transformer来建立时空关系、重构异常序列以及学习每一帧的重要性权重最后得到经过运动一致性的检验后的最终异常。5.4 因果关系引导消除背景干扰因果关系引导Causal Relation GuidingCRG采用的是后门调整的方法并且用可微分门控来近似处理动态背景干扰的问题把归一化之后按照阈值为进行分层缩放使得高异常响应被加强而低异常响应被削弱从而得到一个异常分数最后对特征进行调节是经过外观注意力处理后的关键帧特征代表逐元素相乘操作为门控之后得到的特征是经过两层卷积细化模块得到的结果而则是送入到检测头之前的最后一步特征。公式解释用已知的异常分数来控制各个地方特征增强的程度然后用卷积来细化这些效果从而把目标凸显出来而把背景干扰压制下去。5.5 损失函数其中和分别对目标出现的概率以及类别进行限制两者都使用了Sigmoid Focal Loss利用归一化的Wasserstein距离NormalizedWassersteinDistanceNWD来约束位置信息其权重值为、。公式解释总检测损失用反向传播的方式来隐式的监督三个模块论文并没有另外设置背景重建损失或者单独的因果损失。❝一句话概括该方法就是学好背景、找出现象、用运动来检验、最后再引导检测。6. 实验结果6.1 实验条件实验用的是DAUB-H、NUDT-MIRSDT和IRDST-R三种方法输入尺寸为多帧的方法都统一为帧训练了轮每批大小为用AdamW算法初始的学习率为权重衰减系数为评价指标有准确率Precision、召回率Recall、F1分数以及交并比Intersection over UnionIoU阈值为时的平均精度均值mean AveragePrecision等比较的对象有ISNet、PConv、SSTNet、Tridos、DTUM等速度测试使用的是RTX 4090显卡。6.2 定量的结果在三个数据集中CHAL的/F1值都处于最好的位置DAUB-H的值是54.28%/74.15%NUDT-MIRSDT是75.25%/87.41%IRDST-R是71.37%/84.76%。和它最接近的方法相比平均精度提高了2.03、2.24、3.16个百分点。但是精确率并不一定都领先在IRDST-R中召回率为 83.02%是最差的一个。表 1. 定量比较和计算开销红色和蓝色表示最好的和第二好的结果在多帧的方法中都用了五帧在RTX 4090上进行测试。图 4. DAUB-H和NUDT-MIRSDT上部分精确率-召回率曲线比较。6.3 定性结果在树荫下、弱目标和云层遮挡的目标中CHAL的示例检测更为准确而 PConv 和 DTUM 则存在漏检或者误检的情况。图 5. 三个不同数据集上检测结果的可视化比较蓝色方块为漏报点黄色圆圈为误报点。6.4 可见光场景拓展在RsCarData遥感车辆检测任务上CHAL的、F1分别为57.37%、76.14%相比于次优的 STF 提升了4.96、4.41个百分点召回率为 71.78%仍然小于 STF 的75.25%。这是对检测框架进行跨成像场景验证的一个例子。表 4. 可见光场景性能比较三角形标记表示用连续五帧的方法来计算。6.5 消融实验在DAUB-H上基线、加入SNF、再加入HAL、完整的模型的分别为 23.48%43.76%48.63%54.28%。用通用注意力代替CRG会降低性能和 CBAM 相比CRG在两个消融数据集中分别提高了3.83和5.07个百分点。对于不同异常程度和颜色、纹理、运动等异常情况的测试也证明了分层验证的重要性。表 2. DAUB-H和NUDT-MIRSDT上各种配置下的消融结果以及计算成本。表 3. 通用注意力和CRG的消融比较。图 6. 背景建模可视化第一、三列为输入图像和预测背景第二、四列为SNF前后三维响应。图 7. HAL中出现外貌异常、重建时间序列异常以及最后出现异常的情况下的特征分布情况即目标和背景之间的差别越来越大。图 8. CRG前后特征热图左边两列是DAUB-H右边两列是NUDT-MIRSDT。图 9. 不同大小和种类的异常所对应的消融情况。6.6 模型复杂度CHAL参数量为15.69M计算量为137.04****GFLOPs速度为12.96****FPSDTUM参数量为9.64M、计算量为128.16GFLOPs、速度为14.28FPS精度提高的同时伴随着更高的开销和更低的速度轻量化还有很大的空间。7. 结论和预测总结CHAL将背景学习、分层异常验证以及因果引导三者结合起来在三个红外基准上提高检测的效果并且推广到可见光车辆检测中去。该文还提到参数和计算开销比较大以后可以考虑用比较轻量级的异常感知方法以及高效的因果学习方法来代替。❝简单来说就是先弄清楚正常的背景情况然后再去检验出真正存在的异常情况从而给运动红外小目标检测带来一种新的建模思路。往期推荐
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
