一、本文介绍🔥本文引入FCM特征校正融合模块，提升RT-DETR多模态融合目标检测中的特征一致性与互补信息利用能力，在跨模态融合前对不同模态特征进行自适应校正。该模块通过空间维度对齐局部结构与边缘信息，并利用通道维度校准全局语义响应，有效降低模态差异、噪声干扰及特征偏移带来的负面影响。相比直接融合方式，FCM采用“先校正、后融合”的策略，使不同模态特征在统一表达空间中实现更稳定的交互，同时通过可学习权重动态平衡空间与通道校正贡献。该模块能够增强目标细节、语义判别和跨模态互补能力，从而提升RT-DETR在复杂背景、低对比度及多源信息不一致场景下的检测精度、鲁棒性与泛化能力。🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR多模态创新改进！🔥🔥RT-DETR多模态改进专栏目录：《独家RT-DETR多模态改进专栏目录 》全网独家创新，多模态融合改进教程，包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进，答疑群提供完整项目，永久更新中🔥RT-DETR多模态创新订阅地址：RT-DETR多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊，永久更新中本文目录一、本文介绍二、FCM特征校正融合模块介绍2.1 FCM模块的结构图2.2FCM模块的作用2.3 FCM模块的优势三、完整核心代码四、手把手教你配置模块和修改tasks.py文件1.首先在ultralytics/nn/newsAddmodules创建一个.py文件2.在ultralytics/nn/newsAddmodules/__init__.py中引用3.修改tasks.py文件五、创建涨点yaml配置文件🚀 中期融合创新改进🔥: rtdetr-r18-midfusion-FCModule.yaml🚀 中后期融合创新改进🔥: rtdetr-r18-mid-to-late-FCModule.yaml🚀 后期融合创新改进🔥: rtdetr-r18-latefusion-FCModule.yaml六、正常运行二、FCM特征校正融合模块介绍摘要：多源遥感图像（RSIs）能够捕捉地物的互补信息，应用于语义分割任务中。然而，不同传感器获取的多模态数据之间存在不一致性和干扰噪声，因此如何有效减少不同模态之间的差异和噪声，并充分利用其互补特征，仍是一项挑战。本文提出了一种通用的跨融合Transformer框架（CFFormer），用于多源遥感图像的语义分割。该框架采用并行双分支结构，分别从不同模态中提取特征。我们设计了一个特征校正模块（FCM），通过在空间和通道维度上结合其他模态的特征，对当前模态的特征进行校正。同时，提出的特征融合模块（FFM）利用多头跨注意力机制，实现不同模态特征的全局交互与融合，从而全面挖掘多源RSIs中的互补信息。实验结果表明，CFFormer在精度和鲁棒性方面均优于现有多源语义分割方法。例如，在WHU-OPT-SAR数据集上，CFFormer的平均交并比（mIoU）为58%、总体精度（OA）为85.35%，分别超过第二优方法4.71%和1.74%。在Vaihingen和Potsdam数据集上，CFFormer同样取得最佳性能，mIoU/OA分别达到84.31%/91.88% 和 88.62%/92.64%。
一、本文介绍🔥本文引入FCM特征校正融合模块，提升RT-DETR多模态融合目标检测中的特征一致性与互补信息利用能力，在跨模态融合前对不同模态特征进行自适应校正。该模块通过空间维度对齐局部结构与边缘信息，并利用通道维度校准全局语义响应，有效降低模态差异、噪声干扰及特征偏移带来的负面影响。相比直接融合方式，FCM采用“先校正、后融合”的策略，使不同模态特征在统一表达空间中实现更稳定的交互，同时通过可学习权重动态平衡空间与通道校正贡献。该模块能够增强目标细节、语义判别和跨模态互补能力，从而提升RT-DETR在复杂背景、低对比度及多源信息不一致场景下的检测精度、鲁棒性与泛化能力。🔥欢迎订阅我的专栏、带你学习使用最新-最前沿-独家RT-DETR多模态创新改进！🔥🔥RT-DETR多模态改进专栏目录：《独家RT-DETR多模态改进专栏目录 》全网独家创新，多模态融合改进教程，包含早期融合、中期融合、后期融合、损失函数改进、二次创新模块、独家创新等几百种创新点改进，答疑群提供完整项目，永久更新中🔥RT-DETR多模态创新订阅地址：RT-DETR多模态创新改进专栏—轻松跑实验、多模态项目较容易冲顶会顶刊，永久更新中本文目录一、本文介绍二、FCM特征校正融合模块介绍2.1 FCM模块的结构图2.2FCM模块的作用2.3 FCM模块的优势三、完整核心代码四、手把手教你配置模块和修改tasks.py文件1.首先在ultralytics/nn/newsAddmodules创建一个.py文件2.在ultralytics/nn/newsAddmodules/__init__.py中引用3.修改tasks.py文件五、创建涨点yaml配置文件🚀 中期融合创新改进🔥: rtdetr-r18-midfusion-FCModule.yaml🚀 中后期融合创新改进🔥: rtdetr-r18-mid-to-late-FCModule.yaml🚀 后期融合创新改进🔥: rtdetr-r18-latefusion-FCModule.yaml六、正常运行二、FCM特征校正融合模块介绍摘要：多源遥感图像（RSIs）能够捕捉地物的互补信息，应用于语义分割任务中。然而，不同传感器获取的多模态数据之间存在不一致性和干扰噪声，因此如何有效减少不同模态之间的差异和噪声，并充分利用其互补特征，仍是一项挑战。本文提出了一种通用的跨融合Transformer框架（CFFormer），用于多源遥感图像的语义分割。该框架采用并行双分支结构，分别从不同模态中提取特征。我们设计了一个特征校正模块（FCM），通过在空间和通道维度上结合其他模态的特征，对当前模态的特征进行校正。同时，提出的特征融合模块（FFM）利用多头跨注意力机制，实现不同模态特征的全局交互与融合，从而全面挖掘多源RSIs中的互补信息。实验结果表明，CFFormer在精度和鲁棒性方面均优于现有多源语义分割方法。例如，在WHU-OPT-SAR数据集上，CFFormer的平均交并比（mIoU）为58%、总体精度（OA）为85.35%，分别超过第二优方法4.71%和1.74%。在Vaihingen和Potsdam数据集上，CFFormer同样取得最佳性能，mIoU/OA分别达到84.31%/91.88% 和 88.62%/92.64%。
