TPAMI 2026等变贝叶斯高光谱融合无真值训练兼顾空间细节与光谱保真一句话总结论文用无监督等变贝叶斯框架融合马赛克与全色图像Panchromatic ImagePAN改善高光谱图像Hyperspectral ImageHSI重建中的空间和光谱失真。论文信息题目Equivariant Bayesian Hyperspectral Imaging via Mosaiced and PAN Image Fusion | 通过马赛克与全色图像融合实现等变贝叶斯高光谱成像发表TPAMI 2026作者Renwei Dian、Nan Wang、Anjing Guo、Shutao Li单位湖南大学人工智能与机器人学院湖南大学视觉感知与人工智能湖南省重点实验室。下载10.1109/TPAMI.2026.3682543论文摘要目前的融合方法对于高光谱结构建模不够容易顾此失彼保住了纹理但是失去了光谱抑制了噪声但是过度平滑了。本文把HSI分解为主分量Principal Component和稀疏残差Sparsity Residual并且利用共享网络、受到物理约束的学习退化以及等变先验在没有参考真值的情况下进行训练在模拟和真实数据上验证重建的效果。主要创新之处创新1分解建模和共享推断提出等变贝叶斯变分推断Equivariant Bayesian Variational Inference的方法来用共享深度神经网络Deep Neural NetworkDNN去估计主要成分和稀疏残差从而提高重构精度以及可解释性。创新2就是受限制的学习退化根据成像模型的学习点扩散函数Point Spread FunctionPSF、光谱响应函数Spectral Response FunctionSRF并用合理的参数来约束来减轻由于未知退化所造成的估计困难。创新3等变先验支持无监督学习引入等变性Equivariant ImagingEI先验使得变换之后的重构结果和重新推断的结果保持一致从而提高网络对于观测算子值域以外的信息的学习能力。方法详解5.1 问题的界定以及整个体系的大致结构输入的是低分辨率马赛克图和高分辨率PAN输出的是高分辨率HSI。该论文把这个问题建模成了带有噪声退化的潜变量后验推理问题首先估计出噪声然后重构主要成分以及残差最后把两者加在一起。公式解释为目标HSI为主分量为稀疏残差、为PAN和马赛克观测值、是噪声做光谱加权做模糊、马赛克采样以及下采样并把重建的结果映射到两个观测值上。图1. 两路成像的物理模型说明了互补观测是如何被用来恢复HSI的PSF和SRF表示相对表征。图3. ****等变贝叶斯融合方法包括噪声估计、共享分量推理、退化反向传播和两轮向前传播。图4. 所用到的网络以及退化的函数是如何被实现的网络输出分成均值和标准差两部分。5.2 共享网络先恢复主体后补充残缺部分两条噪声分别用独立的网络来估算并且从观测数据中被去除掉。去噪后的观测数据经过共享网络得到主要成分主要成分退化之后和去噪后的观测数据做差再用同一个网络来估计出残差。两个分量有相同的边界和纹理共享参数可以实现特征重用以及正则化的效果。用高斯后验来估计参数并且用重参数化的采样方法公式解释、是预测均值和标准差、表示两个分量是高斯噪声是单位矩阵表示逐元素乘法。采样把分布参数变成分量估计并且可以进行网络训练。5.3 可学习退化使反馈与成像关系相符合用无偏置的卷积用通道共享的卷积并且之后再做一次马赛克采样和一次平均下采样。参数限制如下公式解释、是PSF核和SRF向量中的元素、表示该元素的数量代表索引。PSF施加非负约束SRF也必须是非负的并且所有元素之和为一这就对退化函数的可行解进行了限制。这两者之间存在一种关系上的联系并不是对传感器响应的真实物理测量。5.4 变换训练通过变换来构造出一种自监督的约束第一次重建得到经过旋转、平移、翻转等各种组合变换之后再退化成两路输入并重新进行推理得到**公式解释**表示重建结果的维度表示Frobenius范数上标和分别代表两次前向传播的结果。该损失计算出两个重建途径之间的平方差并且用经过一次变换之后的第一步结果作为伪先验来代替HSI数据在推理的时候只做一次前向传播。图2. 基于EI先验的基本训练过程第一轮约束观测一致第二轮约束变换一致。5.5 损失函数公式解释、用来保证重建的结果经过退化之后再加入估计出来的噪声之后和观测值很接近用来保证各种方法的一致性、是噪声分布的Kullback–LeiblerKL散度项可以用来对噪声进行估计总的损失函数就是把所有的约束项加起来得到的它包含了成像的一致性、重建先验以及噪声估计。❝一句话概括该方法就是先分后合、成像反哺、变一致约束从而给无真实值的融合训练加上限制。实验结果6.1 实验条件CAVE和ICVL分别用 20/12 和 160/40 张训练集以及测试集图片来构建高光谱图像其中原始第 12–27 波段组成 16 个波段的高光谱图像HSI真实的训练和测试数据各为 50/10 对训练块大小为马赛克 、PAN 批量为 16使用 Adam 算法并且固定的学习率为 在三次迭代中分别进行了 次、 次和 次采用一台 RTX 4090 进行训练比较的方法有 PPID、SpNet、SFNet、LSAN 和 PanGAN、VBPN 八种组合。模拟评价用到的是峰值信噪比Peak Signal-to-Noise RatioPSNR、结构相似性Structural SimilaritySSIM、光谱角映射Spectral Angle MapperSAM以及全局相对综合误差Erreur Relative Globale Adimensionnelle de SynthèseERGAS而真实的评价则使用了无参考质量Quality with No ReferenceQNR、光谱失真和空间失真。在计算真实值之前会对两条观测数据再施加一个大小为、方差为1的高斯模糊来减小噪声的影响。图5. 16个光谱滤波器和PAN传感器探测单元所对应的实测光谱响应曲线。6.2 定量的结果CAVEPSNR为32.07dBSAM为 8.6854ERGAS为 5.5966均是最优值SSIM为 0.8243稍差于 SpNet-VBPN 的 0.8267与 LSAN-VBPN 相比PSNR提升了0.57dB。ICVLPSNR值为40.20dBSSIM值为0.9674ERGAS值为1.1824均是最优值PSNR比LSAN-VBPN高出0.85dBSAM值为2.0939最优的是SpNet-VBPN的1.4837。真实的数值是QNR0.9475、0.0242最好QNR比SFNet-PanGAN高0.0163为0.0288最好的是SpNet-VBPN的0.0136。表1. CAVE、ICVL和实际数据之间的定量对比PSNR、SSIM、QNR越大越好其他指标越小越好最好的用粗体表示。6.3 定性结果模拟的结果更接近于参考图没有出现过度平滑、伪影以及光谱偏差等问题而真实的图像则很好地抑制了噪声并且很好地保存了边缘和细节。图6. CAVE可视化比较由上至下依次为伪彩图、均方根误差Mean Absolute ErrorMAE图和SAM图。图7. ICVL可视化比较依次为伪彩色图、MAE图和SAM图图6、图7的误差图都进行了缩小以便于观察。图8. 真实数据三组场景的可视化对比包括上采样马赛克、PAN以及各种方法的结果。6.4 消融实验只考虑观测一致性损失的情况下CAVE的PSNR为 30.13dB加上噪声损失或者 EI 损失之后分别是 31.41 和 31.95dB完整的模型达到了32.07dB但是SSIM并不是最好的。真实的QNR由原来的 0.9180 提高到了现在的0.9475。普通的卷积或者残差块退化的替代方案不能收敛去掉参数约束就会造成频谱失真核的QNR值为0.9370大尺寸核带来的好处不大默认使用的是的核来平衡质量和效率在不分解、分开网络和共享网络的情况下真实的QNR分别是0.8913、0.8391、0.9475加入PAN之后CAVE和ICVL的PSNR分别提高了4.07和6.53dB。表2. CAVE和真实的数据显示出的各种损失组合下的表现对比。图9. 不同损失组合下的噪声、主要成分、残差以及重构图像残差被放大来提高对比度。表3. CAVE和真实的数据显示出的不同程度退化的实现方式一层卷积、三层卷积、四层卷积残差块以及本文所提出的物理退化。图10. 用真实的数据来学习PSF、SRF和权重热图以及退化的图像退化的马赛克和PAN相对于观测的PSNR分别是34.16和37.21dB。图11. CAVE和真实的数据显示出是否有PSF、SRF参数限制下的可视化对比。表4. 用真实的PSF核大小来比较不同情况下的性能差异。表5. CAVE和真实的数据显示出在没有分组、独立网络分组以及共享网络分组的情况下它们之间的性能差异。表6. CAVE和ICVL上单传感器、双传感器高光谱成像系统的性能对比。图12. 用真实的数据来比较单个和两个传感器成像的结果并且显示PAN对边沿以及纹理的恢复所起的作用。6.5 模型复杂度和推理稳定性的关系模型参数量为0.17M浮点运算量Floating-Point OperationsFLOPs为1.41T推理时间为****0.77秒。参数量最小但是比LSAN-PanGAN的1.16T、0.51秒所消耗的算力和时间更多最快的SpNet-VBPN只需要0.44秒。FLOPs只计算乘法。重复推理10次、20次、50次、100次之后各项指标的平均值都很稳定标准差也较小。表7. CAVE、ICVL和真实的数据显示出在不同的重复推理次数下各个指标的平均值和标准差。表8. 各种融合方法所用到的参数量、FLOPs和推理时间对比情况PPID 步骤在 CPU 上执行其他部分用 RTX 4090 来完成。结论和预测本文将分量分解、物理退化以及等变先验三者结合起来给无真值高光谱重建带来可以解释的训练约束。实验结果证明了空间和光谱保持的一体化优势并且说明少参数不等于最快的推理速度。❝一句话概括就是通过受到物理限制的反馈以及等变自监督来使共享网络在没有参照真实值的情况下得到更加准确的高光谱图像。往期推荐
TPAMI 2026等变贝叶斯高光谱融合无真值训练兼顾空间细节与光谱保真一句话总结论文用无监督等变贝叶斯框架融合马赛克与全色图像Panchromatic ImagePAN改善高光谱图像Hyperspectral ImageHSI重建中的空间和光谱失真。论文信息题目Equivariant Bayesian Hyperspectral Imaging via Mosaiced and PAN Image Fusion | 通过马赛克与全色图像融合实现等变贝叶斯高光谱成像发表TPAMI 2026作者Renwei Dian、Nan Wang、Anjing Guo、Shutao Li单位湖南大学人工智能与机器人学院湖南大学视觉感知与人工智能湖南省重点实验室。下载10.1109/TPAMI.2026.3682543论文摘要目前的融合方法对于高光谱结构建模不够容易顾此失彼保住了纹理但是失去了光谱抑制了噪声但是过度平滑了。本文把HSI分解为主分量Principal Component和稀疏残差Sparsity Residual并且利用共享网络、受到物理约束的学习退化以及等变先验在没有参考真值的情况下进行训练在模拟和真实数据上验证重建的效果。主要创新之处创新1分解建模和共享推断提出等变贝叶斯变分推断Equivariant Bayesian Variational Inference的方法来用共享深度神经网络Deep Neural NetworkDNN去估计主要成分和稀疏残差从而提高重构精度以及可解释性。创新2就是受限制的学习退化根据成像模型的学习点扩散函数Point Spread FunctionPSF、光谱响应函数Spectral Response FunctionSRF并用合理的参数来约束来减轻由于未知退化所造成的估计困难。创新3等变先验支持无监督学习引入等变性Equivariant ImagingEI先验使得变换之后的重构结果和重新推断的结果保持一致从而提高网络对于观测算子值域以外的信息的学习能力。方法详解5.1 问题的界定以及整个体系的大致结构输入的是低分辨率马赛克图和高分辨率PAN输出的是高分辨率HSI。该论文把这个问题建模成了带有噪声退化的潜变量后验推理问题首先估计出噪声然后重构主要成分以及残差最后把两者加在一起。公式解释为目标HSI为主分量为稀疏残差、为PAN和马赛克观测值、是噪声做光谱加权做模糊、马赛克采样以及下采样并把重建的结果映射到两个观测值上。图1. 两路成像的物理模型说明了互补观测是如何被用来恢复HSI的PSF和SRF表示相对表征。图3. ****等变贝叶斯融合方法包括噪声估计、共享分量推理、退化反向传播和两轮向前传播。图4. 所用到的网络以及退化的函数是如何被实现的网络输出分成均值和标准差两部分。5.2 共享网络先恢复主体后补充残缺部分两条噪声分别用独立的网络来估算并且从观测数据中被去除掉。去噪后的观测数据经过共享网络得到主要成分主要成分退化之后和去噪后的观测数据做差再用同一个网络来估计出残差。两个分量有相同的边界和纹理共享参数可以实现特征重用以及正则化的效果。用高斯后验来估计参数并且用重参数化的采样方法公式解释、是预测均值和标准差、表示两个分量是高斯噪声是单位矩阵表示逐元素乘法。采样把分布参数变成分量估计并且可以进行网络训练。5.3 可学习退化使反馈与成像关系相符合用无偏置的卷积用通道共享的卷积并且之后再做一次马赛克采样和一次平均下采样。参数限制如下公式解释、是PSF核和SRF向量中的元素、表示该元素的数量代表索引。PSF施加非负约束SRF也必须是非负的并且所有元素之和为一这就对退化函数的可行解进行了限制。这两者之间存在一种关系上的联系并不是对传感器响应的真实物理测量。5.4 变换训练通过变换来构造出一种自监督的约束第一次重建得到经过旋转、平移、翻转等各种组合变换之后再退化成两路输入并重新进行推理得到**公式解释**表示重建结果的维度表示Frobenius范数上标和分别代表两次前向传播的结果。该损失计算出两个重建途径之间的平方差并且用经过一次变换之后的第一步结果作为伪先验来代替HSI数据在推理的时候只做一次前向传播。图2. 基于EI先验的基本训练过程第一轮约束观测一致第二轮约束变换一致。5.5 损失函数公式解释、用来保证重建的结果经过退化之后再加入估计出来的噪声之后和观测值很接近用来保证各种方法的一致性、是噪声分布的Kullback–LeiblerKL散度项可以用来对噪声进行估计总的损失函数就是把所有的约束项加起来得到的它包含了成像的一致性、重建先验以及噪声估计。❝一句话概括该方法就是先分后合、成像反哺、变一致约束从而给无真实值的融合训练加上限制。实验结果6.1 实验条件CAVE和ICVL分别用 20/12 和 160/40 张训练集以及测试集图片来构建高光谱图像其中原始第 12–27 波段组成 16 个波段的高光谱图像HSI真实的训练和测试数据各为 50/10 对训练块大小为马赛克 、PAN 批量为 16使用 Adam 算法并且固定的学习率为 在三次迭代中分别进行了 次、 次和 次采用一台 RTX 4090 进行训练比较的方法有 PPID、SpNet、SFNet、LSAN 和 PanGAN、VBPN 八种组合。模拟评价用到的是峰值信噪比Peak Signal-to-Noise RatioPSNR、结构相似性Structural SimilaritySSIM、光谱角映射Spectral Angle MapperSAM以及全局相对综合误差Erreur Relative Globale Adimensionnelle de SynthèseERGAS而真实的评价则使用了无参考质量Quality with No ReferenceQNR、光谱失真和空间失真。在计算真实值之前会对两条观测数据再施加一个大小为、方差为1的高斯模糊来减小噪声的影响。图5. 16个光谱滤波器和PAN传感器探测单元所对应的实测光谱响应曲线。6.2 定量的结果CAVEPSNR为32.07dBSAM为 8.6854ERGAS为 5.5966均是最优值SSIM为 0.8243稍差于 SpNet-VBPN 的 0.8267与 LSAN-VBPN 相比PSNR提升了0.57dB。ICVLPSNR值为40.20dBSSIM值为0.9674ERGAS值为1.1824均是最优值PSNR比LSAN-VBPN高出0.85dBSAM值为2.0939最优的是SpNet-VBPN的1.4837。真实的数值是QNR0.9475、0.0242最好QNR比SFNet-PanGAN高0.0163为0.0288最好的是SpNet-VBPN的0.0136。表1. CAVE、ICVL和实际数据之间的定量对比PSNR、SSIM、QNR越大越好其他指标越小越好最好的用粗体表示。6.3 定性结果模拟的结果更接近于参考图没有出现过度平滑、伪影以及光谱偏差等问题而真实的图像则很好地抑制了噪声并且很好地保存了边缘和细节。图6. CAVE可视化比较由上至下依次为伪彩图、均方根误差Mean Absolute ErrorMAE图和SAM图。图7. ICVL可视化比较依次为伪彩色图、MAE图和SAM图图6、图7的误差图都进行了缩小以便于观察。图8. 真实数据三组场景的可视化对比包括上采样马赛克、PAN以及各种方法的结果。6.4 消融实验只考虑观测一致性损失的情况下CAVE的PSNR为 30.13dB加上噪声损失或者 EI 损失之后分别是 31.41 和 31.95dB完整的模型达到了32.07dB但是SSIM并不是最好的。真实的QNR由原来的 0.9180 提高到了现在的0.9475。普通的卷积或者残差块退化的替代方案不能收敛去掉参数约束就会造成频谱失真核的QNR值为0.9370大尺寸核带来的好处不大默认使用的是的核来平衡质量和效率在不分解、分开网络和共享网络的情况下真实的QNR分别是0.8913、0.8391、0.9475加入PAN之后CAVE和ICVL的PSNR分别提高了4.07和6.53dB。表2. CAVE和真实的数据显示出的各种损失组合下的表现对比。图9. 不同损失组合下的噪声、主要成分、残差以及重构图像残差被放大来提高对比度。表3. CAVE和真实的数据显示出的不同程度退化的实现方式一层卷积、三层卷积、四层卷积残差块以及本文所提出的物理退化。图10. 用真实的数据来学习PSF、SRF和权重热图以及退化的图像退化的马赛克和PAN相对于观测的PSNR分别是34.16和37.21dB。图11. CAVE和真实的数据显示出是否有PSF、SRF参数限制下的可视化对比。表4. 用真实的PSF核大小来比较不同情况下的性能差异。表5. CAVE和真实的数据显示出在没有分组、独立网络分组以及共享网络分组的情况下它们之间的性能差异。表6. CAVE和ICVL上单传感器、双传感器高光谱成像系统的性能对比。图12. 用真实的数据来比较单个和两个传感器成像的结果并且显示PAN对边沿以及纹理的恢复所起的作用。6.5 模型复杂度和推理稳定性的关系模型参数量为0.17M浮点运算量Floating-Point OperationsFLOPs为1.41T推理时间为****0.77秒。参数量最小但是比LSAN-PanGAN的1.16T、0.51秒所消耗的算力和时间更多最快的SpNet-VBPN只需要0.44秒。FLOPs只计算乘法。重复推理10次、20次、50次、100次之后各项指标的平均值都很稳定标准差也较小。表7. CAVE、ICVL和真实的数据显示出在不同的重复推理次数下各个指标的平均值和标准差。表8. 各种融合方法所用到的参数量、FLOPs和推理时间对比情况PPID 步骤在 CPU 上执行其他部分用 RTX 4090 来完成。结论和预测本文将分量分解、物理退化以及等变先验三者结合起来给无真值高光谱重建带来可以解释的训练约束。实验结果证明了空间和光谱保持的一体化优势并且说明少参数不等于最快的推理速度。❝一句话概括就是通过受到物理限制的反馈以及等变自监督来使共享网络在没有参照真实值的情况下得到更加准确的高光谱图像。往期推荐
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
