论文: MODA: The First Challenging Benchmark for Multispectral Object Detection in Aerial Images作者: Shuaihao Han, Tingfa Xu*, Peifu Liu, Jianan Li发表: AAAI 2026论文链接: https://arxiv.org/abs/2512.09489代码链接: https://github.com/shuaihao-han/MODA一、引言遥感图像目标检测在现实场景中面临小目标密集、背景干扰强等严峻挑战，传统RGB检测器仅依赖空间信息，在复杂环境下辨识能力严重不足。多光谱图像（MSIs）通过捕获多个波段的额外光谱线索，为目标检测提供了全新的维度——不同物体的独特光谱曲线即使在外观相似时也能可靠区分目标与背景。然而，多光谱目标检测的发展长期受限于两个瓶颈：一是缺乏大规模训练数据，现有HOD-1和HOD3K数据集规模小、场景单一；二是缺乏高效的光谱-空间特征融合方法，现有方法采用PCA降维或双流网络解耦光谱与空间信息，导致计算开销大、光谱信息损失严重。针对上述问题，本文提出了MODA数据集（首个大规模多光谱遥感目标检测基准）和OSSDet框架（面向目标的光谱-空间学习框架）。其中，级联光谱-空间联合感知模块（CSSP）是OSSDet中优化目标感知能力的核心组件，通过级联的光谱-空间交互调制，显著提升模型对目标区域的关注度。二、核心动机现有方法在处理多光谱遥感图像时存在三个关键问题：空间混叠效应：顶层特征提取中的连续下采样导致空间混叠（spatial aliasing），使背景杂波干扰目标区域，降低模型注意力光谱-空间解耦损失：传统方法（如PCA降维、双流网络）将光谱和空间信息分离处理，既丢失了光谱间的关联性，又增加了计算复杂度缺乏交互调制：简单拼接或相加无法充分挖掘光谱与空间模态之间的互补关系关键观察：光谱和空间注意力分别从不同维度聚焦目标特征，但两者之间存在天然的互补性——光谱注意力关注"是什么"（通道维度），空间注意力关注"在哪里"（空间维度），如果能让两者进行双向交互调制，可以同时增强目标的光谱辨识度和空间定位精度。解决思路：CSSP设计了一种级联的双向交互调制机制，通过计算光谱-空间互相关矩阵，让光谱感知特征和空间感知特征在嵌入空间中相互"询问"和"增强"，实现真正的联合感知。三、方法3.1 模块整体设计CSSP模块以主干网络的顶层特征F 5 ∈ R C × H × W F_5 \in \mathbb{R}^{C \times H \times W}F5∈RC×H×W作为输入，通过三个关键步骤完成特征重构：图1：OSSDet整体框架与CSSP结构（图b）图注说明：上图(b)部分展示了CSSP的内部结构。首先对顶层特征分别施加光谱注意力和空间注意力，得到两个感知特征；随后通过级联的跨模态交互调制，让光谱和空间特征在嵌入空间中进行双向信息交换；最后将调制后的特征融合输出。前向过程总述：光谱注意力提取：通过全局平均池化压缩光谱维度，生成光谱注意力权重，对输入特征进行通道维度的加权空间注意力提取：沿光谱维度平均池化，生成空间注意力图，增强显著空间区域级联交互调制：将光谱和空间感知特征重塑为序列形式，计算双向互相关矩阵，实现跨模态信息交互特征融合：将调制后的特征重塑回原始空间并融合，得到重构特征F ^ 5 \hat{F}_5F^53.2 核心算法：级联光谱-空间交互调制CSSP的核心创新在于级联的双向交互调制机制。具体数学推导如下：Step 1：光谱注意力对顶层特征F 5 F_5F5沿空间维度做全局平均池化（GAP），通过可学习权重w e \boldsymbol{w}_ewe和偏置b e \boldsymbol{b}_ebe生成光谱注意力图：F e = f s ( w e ⋅ GAP ( F 5 ) + b e ) ⊙ F 5 F_e = f_s(\boldsymbol{w}_e \cdot \text{GAP}(F_5) + \boldsymbol{b}_e) \odot F_5Fe=fs(we⋅GAP(F5)+be)⊙F5其中f s ( ⋅ ) f_s(\cdot)fs(⋅)为 Sigmoid 激活函数，⊙ \odot⊙为逐元素乘法。这一步让网络关注"哪些光谱通道对目标更重要"。Step 2：空间注意力沿光谱维度做平均池化（AVG），通过可学习权重图w a \boldsymbol{w}_awa和偏置图b a \boldsymbol{b}_aba生成空间注意力图：F a = f s ( w a ⋅ AVG ( F 5 ) + b a ) ⊙ F 5 F_a = f_s(\boldsymbol{w}_a \cdot \text{AVG}(F_5) + \boldsymbol{b}_a) \odot F_5Fa=fs(wa⋅AVG(F5)+ba)⊙F
论文: MODA: The First Challenging Benchmark for Multispectral Object Detection in Aerial Images作者: Shuaihao Han, Tingfa Xu*, Peifu Liu, Jianan Li发表: AAAI 2026论文链接: https://arxiv.org/abs/2512.09489代码链接: https://github.com/shuaihao-han/MODA一、引言遥感图像目标检测在现实场景中面临小目标密集、背景干扰强等严峻挑战，传统RGB检测器仅依赖空间信息，在复杂环境下辨识能力严重不足。多光谱图像（MSIs）通过捕获多个波段的额外光谱线索，为目标检测提供了全新的维度——不同物体的独特光谱曲线即使在外观相似时也能可靠区分目标与背景。然而，多光谱目标检测的发展长期受限于两个瓶颈：一是缺乏大规模训练数据，现有HOD-1和HOD3K数据集规模小、场景单一；二是缺乏高效的光谱-空间特征融合方法，现有方法采用PCA降维或双流网络解耦光谱与空间信息，导致计算开销大、光谱信息损失严重。针对上述问题，本文提出了MODA数据集（首个大规模多光谱遥感目标检测基准）和OSSDet框架（面向目标的光谱-空间学习框架）。其中，级联光谱-空间联合感知模块（CSSP）是OSSDet中优化目标感知能力的核心组件，通过级联的光谱-空间交互调制，显著提升模型对目标区域的关注度。二、核心动机现有方法在处理多光谱遥感图像时存在三个关键问题：空间混叠效应：顶层特征提取中的连续下采样导致空间混叠（spatial aliasing），使背景杂波干扰目标区域，降低模型注意力光谱-空间解耦损失：传统方法（如PCA降维、双流网络）将光谱和空间信息分离处理，既丢失了光谱间的关联性，又增加了计算复杂度缺乏交互调制：简单拼接或相加无法充分挖掘光谱与空间模态之间的互补关系关键观察：光谱和空间注意力分别从不同维度聚焦目标特征，但两者之间存在天然的互补性——光谱注意力关注"是什么"（通道维度），空间注意力关注"在哪里"（空间维度），如果能让两者进行双向交互调制，可以同时增强目标的光谱辨识度和空间定位精度。解决思路：CSSP设计了一种级联的双向交互调制机制，通过计算光谱-空间互相关矩阵，让光谱感知特征和空间感知特征在嵌入空间中相互"询问"和"增强"，实现真正的联合感知。三、方法3.1 模块整体设计CSSP模块以主干网络的顶层特征F 5 ∈ R C × H × W F_5 \in \mathbb{R}^{C \times H \times W}F5∈RC×H×W作为输入，通过三个关键步骤完成特征重构：图1：OSSDet整体框架与CSSP结构（图b）图注说明：上图(b)部分展示了CSSP的内部结构。首先对顶层特征分别施加光谱注意力和空间注意力，得到两个感知特征；随后通过级联的跨模态交互调制，让光谱和空间特征在嵌入空间中进行双向信息交换；最后将调制后的特征融合输出。前向过程总述：光谱注意力提取：通过全局平均池化压缩光谱维度，生成光谱注意力权重，对输入特征进行通道维度的加权空间注意力提取：沿光谱维度平均池化，生成空间注意力图，增强显著空间区域级联交互调制：将光谱和空间感知特征重塑为序列形式，计算双向互相关矩阵，实现跨模态信息交互特征融合：将调制后的特征重塑回原始空间并融合，得到重构特征F ^ 5 \hat{F}_5F^53.2 核心算法：级联光谱-空间交互调制CSSP的核心创新在于级联的双向交互调制机制。具体数学推导如下：Step 1：光谱注意力对顶层特征F 5 F_5F5沿空间维度做全局平均池化（GAP），通过可学习权重w e \boldsymbol{w}_ewe和偏置b e \boldsymbol{b}_ebe生成光谱注意力图：F e = f s ( w e ⋅ GAP ( F 5 ) + b e ) ⊙ F 5 F_e = f_s(\boldsymbol{w}_e \cdot \text{GAP}(F_5) + \boldsymbol{b}_e) \odot F_5Fe=fs(we⋅GAP(F5)+be)⊙F5其中f s ( ⋅ ) f_s(\cdot)fs(⋅)为 Sigmoid 激活函数，⊙ \odot⊙为逐元素乘法。这一步让网络关注"哪些光谱通道对目标更重要"。Step 2：空间注意力沿光谱维度做平均池化（AVG），通过可学习权重图w a \boldsymbol{w}_awa和偏置图b a \boldsymbol{b}_aba生成空间注意力图：F a = f s ( w a ⋅ AVG ( F 5 ) + b a ) ⊙ F 5 F_a = f_s(\boldsymbol{w}_a \cdot \text{AVG}(F_5) + \boldsymbol{b}_a) \odot F_5Fa=fs(wa⋅AVG(F5)+ba)⊙F
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
