1. 项目背景与核心价值海洋环境监测一直是计算机视觉领域极具挑战性的研究方向。传统实例分割方法在开放水域场景中面临三大痛点水下图像质量差导致的几何特征模糊、海洋生物类别多样性带来的语义鸿沟、以及标注数据稀缺造成的模型泛化能力不足。MARIS系统正是针对这些痛点提出的创新解决方案。中国电信研究院李学龙团队在CVPR26上发表的这项工作首次将几何增强与语义对齐机制融合到开放词汇实例分割框架中。其核心突破在于通过自监督几何学习增强水下目标的边缘和纹理特征利用视觉-语言预训练模型实现跨模态语义对齐构建首个覆盖200海洋生物类别的开放词汇评测基准实际测试表明在浑浊水域场景下MARIS相比Mask2Former等SOTA模型在mAP上提升达37.2%对未知类别的分割准确率提高近2倍。2. 技术架构解析2.1 几何增强模块设计水下图像退化主要来自光线散射和微粒悬浮物干扰。MARIS采用三级增强策略物理模型引导的预处理基于Jaffe-McGlamery光学模型构建退化矩阵使用可微分渲染进行反向补偿def degradation_compensation(img): # 估计水体衰减系数 beta estimate_backscatter(img) # 构建传输矩阵 T torch.exp(-beta * depth_map) # 补偿计算 J (img - A*(1-T)) / T.clamp(min0.1) return J多尺度特征强化在ResNet-101骨干网络中插入GEB模块(Geometry Enhancement Block)通过可变形卷积动态适应目标形变特征金字塔融合时加入边缘注意力权重自监督几何一致性构建正负样本对进行对比学习采用SwAV算法优化特征空间分布2.2 语义对齐机制实现开放词汇识别的关键在于建立视觉特征与文本嵌入的映射关系。MARIS创新性地提出双路对齐策略视觉-语言协同编码器视觉分支使用CLIP的ViT-L/14提取图像特征文本分支构建海洋生物知识图谱嵌入对齐损失函数L_{align} \sum_{i1}^N \| \frac{v_i}{\|v_i\|} - \frac{t_i}{\|t_i\|} \|^2 \lambda KL(p_v||p_t)动态提示学习针对不同海域场景自动生成适配的文本提示模板示例模板这是一张{区域}海域的{深度}米处拍摄的照片图中可能包含{生物类型}等海洋生物3. 训练与优化细节3.1 数据构建方案团队收集了超过50万张涵盖不同海域、深度和季节的水下图像构建了MarineVoc数据集数据类型图像数量标注类别特殊特性清晰水域18.7万87类高分辨率RGB-D浑浊水域22.3万113类多光谱成像极端环境9万42类合成孔径声呐3.2 模型训练技巧渐进式域适应先在合成数据(SUNCG-Marine)上预训练逐步引入真实数据微调最后用少量目标域数据做适配困难样本挖掘根据预测不确定性动态调整采样权重对模糊边界样本进行重点优化混合精度训练# 使用Apex库的优化配置 python train.py --amp-level O2 --channels-last \ --gradient-accumulation 44. 实际部署效果在中国电信智慧海洋项目中MARIS已部署于多个沿海城市的监测系统青岛近海监测案例部署设备搭载NVIDIA Jetson AGX Orin的水下机器人运行指标处理延迟83ms/帧(1080p分辨率)功耗18W30FPS识别准确率已知类别92.4% mAP未知类别76.8% mAP典型问题解决方案强光反射干扰启用偏振滤波模式动态调整白平衡参数密集鱼群遮挡启用时序连续性检测采用3D点云辅助分割5. 扩展应用方向基于MARIS的核心技术团队正在探索更多应用场景珊瑚礁健康评估通过颜色纹理分析量化白化程度建立生长状态预测模型海洋垃圾监测开发塑料垃圾专用识别头结合漂流轨迹预测算法渔业资源调查自动统计鱼群数量与种类集成声学识别多模态数据在实际部署中发现模型对水母类生物的识别准确率会受触须透明度影响。我们的解决方案是在推理时动态调整Gamma值并增加局部对比度增强模块。这个细节改进使相关类别的AP提升了15.6%。
1. 项目背景与核心价值海洋环境监测一直是计算机视觉领域极具挑战性的研究方向。传统实例分割方法在开放水域场景中面临三大痛点水下图像质量差导致的几何特征模糊、海洋生物类别多样性带来的语义鸿沟、以及标注数据稀缺造成的模型泛化能力不足。MARIS系统正是针对这些痛点提出的创新解决方案。中国电信研究院李学龙团队在CVPR26上发表的这项工作首次将几何增强与语义对齐机制融合到开放词汇实例分割框架中。其核心突破在于通过自监督几何学习增强水下目标的边缘和纹理特征利用视觉-语言预训练模型实现跨模态语义对齐构建首个覆盖200海洋生物类别的开放词汇评测基准实际测试表明在浑浊水域场景下MARIS相比Mask2Former等SOTA模型在mAP上提升达37.2%对未知类别的分割准确率提高近2倍。2. 技术架构解析2.1 几何增强模块设计水下图像退化主要来自光线散射和微粒悬浮物干扰。MARIS采用三级增强策略物理模型引导的预处理基于Jaffe-McGlamery光学模型构建退化矩阵使用可微分渲染进行反向补偿def degradation_compensation(img): # 估计水体衰减系数 beta estimate_backscatter(img) # 构建传输矩阵 T torch.exp(-beta * depth_map) # 补偿计算 J (img - A*(1-T)) / T.clamp(min0.1) return J多尺度特征强化在ResNet-101骨干网络中插入GEB模块(Geometry Enhancement Block)通过可变形卷积动态适应目标形变特征金字塔融合时加入边缘注意力权重自监督几何一致性构建正负样本对进行对比学习采用SwAV算法优化特征空间分布2.2 语义对齐机制实现开放词汇识别的关键在于建立视觉特征与文本嵌入的映射关系。MARIS创新性地提出双路对齐策略视觉-语言协同编码器视觉分支使用CLIP的ViT-L/14提取图像特征文本分支构建海洋生物知识图谱嵌入对齐损失函数L_{align} \sum_{i1}^N \| \frac{v_i}{\|v_i\|} - \frac{t_i}{\|t_i\|} \|^2 \lambda KL(p_v||p_t)动态提示学习针对不同海域场景自动生成适配的文本提示模板示例模板这是一张{区域}海域的{深度}米处拍摄的照片图中可能包含{生物类型}等海洋生物3. 训练与优化细节3.1 数据构建方案团队收集了超过50万张涵盖不同海域、深度和季节的水下图像构建了MarineVoc数据集数据类型图像数量标注类别特殊特性清晰水域18.7万87类高分辨率RGB-D浑浊水域22.3万113类多光谱成像极端环境9万42类合成孔径声呐3.2 模型训练技巧渐进式域适应先在合成数据(SUNCG-Marine)上预训练逐步引入真实数据微调最后用少量目标域数据做适配困难样本挖掘根据预测不确定性动态调整采样权重对模糊边界样本进行重点优化混合精度训练# 使用Apex库的优化配置 python train.py --amp-level O2 --channels-last \ --gradient-accumulation 44. 实际部署效果在中国电信智慧海洋项目中MARIS已部署于多个沿海城市的监测系统青岛近海监测案例部署设备搭载NVIDIA Jetson AGX Orin的水下机器人运行指标处理延迟83ms/帧(1080p分辨率)功耗18W30FPS识别准确率已知类别92.4% mAP未知类别76.8% mAP典型问题解决方案强光反射干扰启用偏振滤波模式动态调整白平衡参数密集鱼群遮挡启用时序连续性检测采用3D点云辅助分割5. 扩展应用方向基于MARIS的核心技术团队正在探索更多应用场景珊瑚礁健康评估通过颜色纹理分析量化白化程度建立生长状态预测模型海洋垃圾监测开发塑料垃圾专用识别头结合漂流轨迹预测算法渔业资源调查自动统计鱼群数量与种类集成声学识别多模态数据在实际部署中发现模型对水母类生物的识别准确率会受触须透明度影响。我们的解决方案是在推理时动态调整Gamma值并增加局部对比度增强模块。这个细节改进使相关类别的AP提升了15.6%。
