发布时间:2026/7/10 17:30:25
AAAI 2026 | CSSP:级联光谱-空间联合感知模块,跨模态特征交互让遥感小目标无处遁形! 论文: MODA: The First Challenging Benchmark for Multispectral Object Detection in Aerial Images作者: Shuaihao Han, Tingfa Xu*, Peifu Liu, Jianan Li发表: AAAI 2026论文链接: https://arxiv.org/abs/2512.09489代码链接: https://github.com/shuaihao-han/MODA一、引言遥感图像目标检测在现实场景中面临小目标密集、背景干扰强等严峻挑战,传统RGB检测器仅依赖空间信息,在复杂环境下辨识能力严重不足。多光谱图像(MSIs)通过捕获多个波段的额外光谱线索,为目标检测提供了全新的维度——不同物体的独特光谱曲线即使在外观相似时也能可靠区分目标与背景。然而,多光谱目标检测的发展长期受限于两个瓶颈:一是缺乏大规模训练数据,现有HOD-1和HOD3K数据集规模小、场景单一;二是缺乏高效的光谱-空间特征融合方法,现有方法采用PCA降维或双流网络解耦光谱与空间信息,导致计算开销大、光谱信息损失严重。针对上述问题,本文提出了MODA数据集(首个大规模多光谱遥感目标检测基准)和OSSDet框架(面向目标的光谱-空间学习框架)。其中,级联光谱-空间联合感知模块(CSSP)是OSSDet中优化目标感知能力的核心组件,通过级联的光谱-空间交互调制,显著提升模型对目标区域的关注度。二、核心动机现有方法在处理多光谱遥感图像时存在三个关键问题:空间混叠效应:顶层特征提取中的连续下采样导致空间混叠(spatial aliasing),使背景杂波干扰目标区域,降低模型注意力光谱-空间解耦损失:传统方法(如PCA降维、双流网络)将光谱和空间信息分离处理,既丢失了光谱间的关联性,又增加了计算复杂度缺乏交互调制:简单拼接或相加无法充分挖掘光谱与空间模态之间的互补关系关键观察:光谱和空间注意力分别从不同维度聚焦目标特征,但两者之间存在天然的互补性——光谱注意力关注"是什么"(通道维度),空间注意力关注"在哪里"(空间维度),如果能让两者进行双向交互调制,可以同时增强目标的光谱辨识度和空间定位精度。解决思路:CSSP设计了一种级联的双向交互调制机制,通过计算光谱-空间互相关矩阵,让光谱感知特征和空间感知特征在嵌入空间中相互"询问"和"增强",实现真正的联合感知。三、方法3.1 模块整体设计CSSP模块以主干网络的顶层特征F 5 ∈ R C × H × W F_5 \in \mathbb{R}^{C \times H \times W}F5​∈RC×H×W作为输入,通过三个关键步骤完成特征重构:图1:OSSDet整体框架与CSSP结构(图b)图注说明:上图(b)部分展示了CSSP的内部结构。首先对顶层特征分别施加光谱注意力和空间注意力,得到两个感知特征;随后通过级联的跨模态交互调制,让光谱和空间特征在嵌入空间中进行双向信息交换;最后将调制后的特征融合输出。前向过程总述:光谱注意力提取:通过全局平均池化压缩光谱维度,生成光谱注意力权重,对输入特征进行通道维度的加权空间注意力提取:沿光谱维度平均池化,生成空间注意力图,增强显著空间区域级联交互调制:将光谱和空间感知特征重塑为序列形式,计算双向互相关矩阵,实现跨模态信息交互特征融合:将调制后的特征重塑回原始空间并融合,得到重构特征F ^ 5 \hat{F}_5F^5​3.2 核心算法:级联光谱-空间交互调制CSSP的核心创新在于级联的双向交互调制机制。具体数学推导如下:Step 1:光谱注意力对顶层特征F 5 F_5F5​沿空间维度做全局平均池化(GAP),通过可学习权重w e \boldsymbol{w}_ewe​和偏置b e \boldsymbol{b}_ebe​生成光谱注意力图:F e = f s ( w e ⋅ GAP ( F 5 ) + b e ) ⊙ F 5 F_e = f_s(\boldsymbol{w}_e \cdot \text{GAP}(F_5) + \boldsymbol{b}_e) \odot F_5Fe​=fs​(we​⋅GAP(F5​)+be​)⊙F5​其中f s ( ⋅ ) f_s(\cdot)fs​(⋅)为 Sigmoid 激活函数,⊙ \odot⊙为逐元素乘法。这一步让网络关注"哪些光谱通道对目标更重要"。Step 2:空间注意力沿光谱维度做平均池化(AVG),通过可学习权重图w a \boldsymbol{w}_awa​和偏置图b a \boldsymbol{b}_aba​生成空间注意力图:F a = f s ( w a ⋅ AVG ( F 5 ) + b a ) ⊙ F 5 F_a = f_s(\boldsymbol{w}_a \cdot \text{AVG}(F_5) + \boldsymbol{b}_a) \odot F_5Fa​=fs​(wa​⋅AVG(F5​)+ba​)⊙F

相关新闻

2026/7/10 17:30:25

如何为 Hermit 贡献包清单:加入开源生态的完整指南

如何为 Hermit 贡献包清单:加入开源生态的完整指南 【免费下载链接】hermit 🐚 Hermit manages isolated, self-bootstrapping sets of tools in software projects. 项目地址: https://gitcode.com/gh_mirrors/her/hermit 想要为开源项目 Hermit…

2026/7/10 17:30:25

@hapi/lab 终极指南:Node.js 测试框架的完整解决方案

hapi/lab 终极指南:Node.js 测试框架的完整解决方案 【免费下载链接】lab Node test utility 项目地址: https://gitcode.com/gh_mirrors/lab2/lab 在当今快速发展的Node.js生态系统中,一个强大且易用的测试框架对于保证代码质量至关重要。hapi/l…

2026/7/10 18:30:28

uosc完全指南:5分钟打造MPV播放器最佳智能界面体验

uosc完全指南:5分钟打造MPV播放器最佳智能界面体验 【免费下载链接】uosc Feature-rich minimalist proximity-based UI for MPV player. 项目地址: https://gitcode.com/gh_mirrors/uo/uosc 想要为MPV播放器寻找一个功能强大且简洁美观的用户界面吗&#xf…

2026/7/10 18:30:28

压电报警系统设计:EPT-14A4005P与PIC18F86J16应用指南

1. 项目概述:压电报警系统的硬件选型与实现在工业控制、安防监控和智能家居等领域,可靠的声光报警系统是保障安全的关键组件。这次我们要探讨的是基于EPT-14A4005P压电陶瓷换能器和PIC18F86J16微控制器的报警系统设计方案。这个组合特别适合需要中高频段…

2026/7/10 18:30:28

palera1n技术揭秘:基于checkm8的iOS越狱架构深度解析

palera1n技术揭秘:基于checkm8的iOS越狱架构深度解析 【免费下载链接】palera1n Jailbreak for A8 through A11, T2 devices, on iOS/iPadOS/tvOS 15.0, bridgeOS 5.0 and higher. 项目地址: https://gitcode.com/GitHub_Trending/pa/palera1n palera1n是一款…

2026/7/10 5:21:51

国内大模型选型与企业级落地实战指南

我不能提供任何关于访问境外网络信息的技术方案或变通方法。根据中国法律法规和网络管理要求,所有互联网服务必须遵守国家关于网络安全、数据安全和内容安全的规定。ChatGPT及其后续版本(如所谓“GPT-5”)是由境外机构研发的大语言模型&#…

2026/7/10 2:34:05

三步实战方案:高效获取智慧教育平台电子课本PDF的完整流程

三步实战方案:高效获取智慧教育平台电子课本PDF的完整流程 【免费下载链接】tchMaterial-parser 国家中小学智慧教育平台 电子课本下载工具,帮助您从智慧教育平台中获取电子课本的 PDF 文件网址并进行下载,让您更方便地获取课本内容。 项目…

2026/7/10 0:02:49

5大实战技巧:用ExifToolGUI轻松解决照片元数据管理难题

5大实战技巧:用ExifToolGUI轻松解决照片元数据管理难题 【免费下载链接】ExifToolGui A GUI for ExifTool 项目地址: https://gitcode.com/gh_mirrors/ex/ExifToolGui 你是否曾为整理旅行照片时发现拍摄时间错乱而头疼?是否需要在数百张照片中批量…

2026/7/10 6:36:15

3个高效策略:快速掌握Axure中文界面配置

3个高效策略:快速掌握Axure中文界面配置 【免费下载链接】axure-cn Chinese language file for Axure RP. Axure RP 简体中文语言包。支持 Axure 11、10、9。不定期更新。 项目地址: https://gitcode.com/gh_mirrors/ax/axure-cn 还在为Axure RP的英文界面感…