Adaptive Confidence Regularization for Multimodal Failure Detection

Abstract在自动驾驶车辆和医疗诊断等高风险领域中部署多模态模型时模型不仅需要具备较强的预测性能还需要具备可靠的失败检测机制。在这项工作中作者关注了一个目前仍然较少被研究的问题多模态场景下的失败检测。作者提出了Adaptive Confidence RegularizationACR即自适应置信度正则化。这是一个专门用于检测多模态失败的新框架。该方法基于一个关键观察在大多数失败样本中多模态融合预测的置信度明显低于至少一个单模态分支的置信度。作者将这种现象称为confidence degradation置信度退化。为了解决这一问题作者提出了Adaptive Confidence Loss即自适应置信度损失。在训练过程中如果多模态融合预测的置信度低于某个单模态分支就对这种退化现象进行惩罚。此外作者还提出了Multimodal Feature Swapping即多模态特征交换。这是一种新的异常样本合成技术可以生成更具挑战性的、带有失败特征的训练样本。通过使用这些合成失败样本进行训练ACR 能够更有效地识别并拒绝不确定预测从而提升模型整体可靠性。作者在四个数据集、三种模态以及多种评估设置下进行了大量实验结果表明 ACR 能够带来稳定且鲁棒的性能提升。代码将发布在https://github.com/mona4399/ACR1. Introduction多模态模型正越来越多地被应用于自动驾驶、医学诊断等安全关键领域。通过整合来自不同模态的互补信息例如视频、音频等多模态模型通常比单模态方法具有更好的鲁棒性和泛化能力。然而即使是当前最先进的模型也可能在错误预测时表现出危险的过度自信。这在高风险应用中会带来严重风险。在这类场景下检测不可信预测与提升整体准确率同样重要。虽然已有关于不确定性估计、模型校准和分布外检测的研究旨在缓解模型过度自信问题但这些方法往往难以可靠地识别那些应该被拒绝的单个预测结果。失败检测也被称为误分类检测或选择性分类正是直接针对这一挑战提出的任务。它的目标是识别不可靠预测以便模型可以选择拒绝该预测或交由人工干预从而降低灾难性错误发生的风险。虽然失败检测在单模态场景中已经比较成熟相关方法包括基于置信度的评分、异常样本暴露以及置信度学习等但将其扩展到多模态系统中仍然很少被研究。这个问题并不简单因为单模态方法往往难以有效利用不同模态之间的互补信息也难以处理多模态数据中特有的失败模式例如不同模态信号之间发生冲突多个模态之间存在错位或不对齐。此外也有一些工作研究了多模态条件下的分布外检测即 OOD detection但它们的任务设定与失败检测本质上不同。为了说明利用多模态信息进行失败检测的潜在优势作者在 HMDB51 数据集上进行了实验分析。在这个分析中所有模型都只使用标准交叉熵损失进行训练。如图 1 左侧所示将视频和光流输入进行简单融合相比单模态基线在失败检测性能上有明显提升。这里的评价指标包括AURCAUROCFPR95。这一结果表明多模态信号在提升失败检测能力方面具有很大潜力。与此同时图 1 右侧显示一些复杂的 OOD 检测方法例如 Energy、Entropy 和 MaxLogit反而被简单的Maximum Softmax ProbabilityMSP基线方法超过。综合来看这些发现说明仅仅把现有的 OOD 检测技术直接迁移到多模态失败检测中是不够的。因此有必要开发专门面向多模态失败检测的定制化方法。在这项工作中作者识别并系统性地刻画了一种现象称为confidence degradation即置信度退化。这种现象指的是多模态融合预测的置信度不理想地低于某些单模态预测的置信度尤其是在模型发生误分类的样本中更加明显。为了解决这一问题作者提出了Adaptive Confidence RegularizationACR即自适应置信度正则化。这是第一个专门用于多模态系统失败检测也就是误分类检测的框架。ACR 包含两个关键创新Adaptive Confidence Loss自适应置信度损失该损失在训练过程中显式惩罚置信度退化现象。Multimodal Feature Swapping多模态特征交换这是一种新的数据增强技术通过交换跨模态嵌入来合成更具挑战性的、面向失败检测的训练样本。通过同时使用置信度惩罚和面向失败的异常样本进行训练模型能够更好地检测并拒绝不确定样本从而同时提升分类准确率和失败检测性能。作者在五个数据集和五种模态上进行了全面实验结果表明 ACR 达到了新的最优性能。相比此前最优方法ACR 在 AURC 上最高提升 9.58%在 AUROC 上最高提升 1.63%在 FPR95 上最高提升 15.45%。此外在分布偏移和多模态 OOD 检测设置下的消融实验进一步验证了该方法的鲁棒性和较强泛化能力。本文的主要贡献包括第一作者强调了利用多模态输入进行有效失败检测的重要性并通过实验证明了现有 OOD 检测方法在该场景下的局限性。第二作者揭示并实验证实了多模态模型中的置信度退化现象表明该现象与预测失败之间存在很强的相关性。第三作者提出了 ACR这是第一个专门面向复杂多模态失败检测任务的框架。ACR 结合了新的自适应置信度损失用于解决置信度退化问题同时引入多模态特征交换以进一步提升置信度的可靠性。第四作者在不同数据集和不同模态组合上进行了大量实验证明了 ACR 在多种场景下的鲁棒性和有效性。2. Methodology2.1. Problem Setup2.2. Confidence Degradation: A Failure Indicatorin Multimodal Systems我们首先研究多模态预测置信度与单模态预测置信度之间的关系以识别能够区分正确分类和错误分类的系统性模式。在分析中作者使用MSP作为置信度评分方法并在四个不同的动作识别数据集上进行了实验包括HMDB51、EPIC-Kitchens、HAC、Kinetics-600。作者一致观察到一种特定的失败模式多模态融合预测的置信度低于某一个单独模态预测的置信度。也就是说模型融合多个模态之后结果反而没有某一个单模态分支那么自信。作者将这种现象形式化定义如下2.3. Proposed ACR Framework作者提出了Adaptive Confidence RegularizationACR自适应置信度正则化这是一个用于多模态失败检测的新框架。该框架整合了两个互补的组成部分如图 3 所示。首先受到误分类与置信度退化之间强相关性的启发作者提出了Adaptive Confidence Loss自适应置信度损失用于在训练过程中直接惩罚这种置信度退化现象。其次作者提出了Multimodal Feature Swapping多模态特征交换。这是一种异常样本合成技术通过交换跨模态嵌入来生成更具挑战性的、面向失败检测的训练样本。通过使用这些合成的失败样本进行训练ACR 能够学习到更加鲁棒的不确定性表示从而提升模型拒绝不可靠预测的能力。ACR 的整体架构会处理来自多个模态的输入。每个输入首先经过对应模态专属的编码器得到一个特征嵌入。例如对于模态 1 和模态 2分别得到2.4. Adaptive Confidence Loss理想情况下有效的多模态融合应该实现协同增益。也就是说在所有模态都能为目标预测提供有效信息的前提下融合预测的置信度应该高于任何一个单独模态的置信度。这表明模型成功整合了不同模态之间的互补信息从而降低了不确定性并增强了最终决策的可靠性。然而正如作者在第 2.2 节中观察到的误分类与置信度退化之间存在很强的相关性。所谓置信度退化是指融合后的置信度低于某个单模态分支的置信度。这种退化通常来源于不同模态之间存在冲突或者某些模态信号本身不可靠因此它可以作为预测失败的重要指标。基于这一观察作者提出了Adaptive Confidence LossACL自适应置信度损失。该损失鼓励融合预测的置信度至少不低于任何一个单独模态的置信度。对于双模态情况ACL 定义为当融合置信度高于两个单模态置信度时ACL 不会产生惩罚但是当融合置信度低于任意一个单模态置信度时ACL 就会产生惩罚并且退化越明显惩罚越大。因此ACL 鼓励融合机制学习更好的信息整合方式使来自不同模态的联合证据能够产生更高置信度的预测。通过有效融合不同模态之间的互补信息ACL 能够提升预测可靠性。此外ACL 还能够缓解单模态过度自信的问题。具体来说当某一个模态给出了高置信度预测但它与另一个模态的信息发生冲突时ACL 会对模型进行惩罚。为了在训练中减小这种跨模态惩罚模型会学习降低不可靠单模态分支自身的置信度。这一过程实际上对单模态网络起到了正则化作用迫使它们变得更好校准并减少“明明预测错了却非常自信”的情况。最终模型能够更有效地整合多模态信息并产生更加可靠的多模态预测。关于 ACL 的更多讨论作者放在了附录中。2.5. Multimodal Feature Swapping虽然Outlier ExposureOE异常样本暴露是一种提升OOD 检测效果的有效技术但已有研究表明它对失败检测FD并不有效。原因在于OE 主要通过压缩**分布内样本ID samples**的置信度分布来正则化决策边界。这样做虽然有助于区分分布内样本和分布外样本但也会带来一个副作用它会让正确的分布内预测和错误的分布内预测变得更难区分。在多模态场景下还存在一个相关挑战缺乏能够真实模拟系统失败的数据。例如多模态系统中常见的失败情况包括不同模态之间的线索发生冲突某个传感器受到噪声或损坏模态之间存在错位或不一致。虽然像OpenMix这样的方法尝试通过在分布内数据和异常数据之间进行插值来解决这些问题但它对于多模态任务有两个关键缺陷。第一它依赖大量额外的异常样本数据集而这些数据在实际中往往很难获得甚至根本不存在。第二OpenMix 本质上是一种单模态方法因此无法合成由跨模态交互引起的复杂失败模式。也就是说这一段的核心意思是传统异常样本增强方法主要适合 OOD 检测但不适合多模态失败检测。因为多模态失败往往不是简单的“输入异常”而是由不同模态之间的冲突、错位或不可靠交互导致的。为了在不依赖外部数据的情况下生成具有挑战性的、面向失败检测的异常样本作者提出了Multimodal Feature SwappingMFS多模态特征交换。MFS 的做法是动态交换多模态特征嵌入中的部分特征维度并为交换后的样本分配相应的软标签如图 3 所示。由于 MFS 直接在特征空间中生成异常样本因此计算效率较高并且可以兼容不同类型的模态。MFS 的设计目标是让合成后的特征既要与正常的分布内特征有所区别又要尽可能保持语义一致性。给定分布内特征2.6. Inference3. 实验3.1 实验设置数据集。我们在 MultiOOD 基准 [14] 中选取了四个动作识别数据集用于评估所提出的框架分别为 HMDB51 [34]、Kinetics-600 [31]、HAC [13] 和 EPIC-Kitchens [11]。这些数据集均包含视频模态和光流模态。对于 HAC 数据集我们还进一步评估了音频模态。各数据集的更多详细信息见附录。实现细节。我们在视频、音频和光流三种模态上开展实验。所有实验均采用 MMAction2 工具箱 [9] 实现。对于视觉信息编码我们使用 SlowFast 网络 [17]并采用在 Kinetics-400 数据集 [31] 上预训练的权重进行初始化。对于音频编码器我们采用 ResNet-18 架构 [24]其权重由在 VGGSound 数据集上预训练的检查点 [6] 初始化。类似地光流编码器也采用 SlowFast 网络但仅配置其慢速路径并同样使用在 Kinetics-400 数据集 [31] 上预训练的权重。模型训练采用 Adam 优化器 [33]学习率设置为 0.0001批大小设置为 16。我们所提出方法的超参数设置如下我们在一块 NVIDIA RTX 3090 GPU 上训练模型 50 个 epoch并选择在验证集上表现最优的模型。基线方法。我们将所提出的方法与多种标准置信度评分函数进行比较包括 MSP [25]、MaxLogit [27]、Energy [41] 和 Entropy [5]。此外我们还将若干单模态失效检测Failure DetectionFD方法适配到我们的框架中包括 DOCTOR [21] 和 OpenMix [73]以及 Mixup [68] 和 RegMixup [48] 等离群样本合成方法。我们还纳入了已有的训练策略 CRL [45] 和 A2D [14]其中 A2D 专门面向多模态分布外检测。上述基线涵盖了多种不同类型的失效检测方法。评估指标。遵循文献 [73]我们采用以下指标评估失效检测性能AURC风险-覆盖率曲线下面积Area Under the Risk-Coverage Curve用于衡量模型风险即错误率随覆盖率变化的情况。其中覆盖率表示被保留样本所占的比例。按照文献 [73] 的设置AURC 数值乘以 (10^3)。AUROC受试者工作特征曲线下面积Area Under the Receiver Operating Characteristic Curve用于衡量真正率True Positive RateTPR与假正率False Positive RateFPR之间的权衡关系。FPR95TPR 为 95% 时的假正率False Positive Rate at 95% TPR表示当真正率固定为 95% 时被错误分类但误判为正确分类的样本比例。ACC准确率Accuracy表示模型在分布内In-DistributionID测试数据上的标准分类准确率。3.2. Main Results多模态失效检测性能。表 1 对我们的方法与多种基线方法在 HMDB51、EPIC-Kitchens、HAC 和 Kinetics-600 四个数据集上的表现进行了对比分析其中输入模态为视频和光流。所提出的方法在各项关键失效检测指标上均持续优于所有基线方法。例如在 HMDB51 数据集上相较于 MSP 基线我们的方法将 FPR95 从 52.07% 降低至 41.96%同时将 AUROC 从 88.28% 提升至 92.02%。在 HAC 数据集上我们的方法将 AURC 从 42.90% 降低至 27.41%并将 AUROC 从 89.27% 提升至 91.48%。此外在 Kinetics-600 数据集上我们的方法将 FPR95 从 61.29% 降低至 55.89%。除了失效检测性能的提升之外我们的方法还提高了所有评估数据集上的分类准确率。在不同视频领域中均观察到的一致性能增益充分体现了所提出方法较强的泛化能力和鲁棒性。不同模态组合下的性能。表 3 给出了在 HAC 数据集上不同模态组合条件下我们的方法与基线方法的对比结果包括视频音频、光流音频以及视频光流音频。表 1 仅报告了视频和光流两种模态组合下的结果而本部分实验进一步考察了我们的方法在不同模态配置下的泛化能力。结果表明我们的方法在大多数场景中均优于基线方法。与性能最强的基线相比我们的方法在 AURC、AUROC 和 FPR95 指标上分别取得了平均 8.39%、1.51% 和 10.65% 的提升。同时分类准确率也由 81.19% 提升至 82.42%。这些结果表明我们的方法能够适应多样化的模态配置并能够同时提升分类准确率和失效检测性能体现出较强的鲁棒性。分布偏移条件下的性能。在实际应用中环境条件可能会快速发生变化例如天气从晴天转为阴天再进一步转为雨天。因此模型需要在这类分布偏移或域偏移条件下仍能做出可靠决策。为了模拟这些场景我们在严重程度设为 5 的多种数据损坏条件下评估模型性能包括散焦模糊、结霜、亮度变化、像素化和 JPEG 压缩。模型使用干净的 HAC 数据集进行训练输入模态为视频和光流在测试阶段仅对视频模态引入数据损坏。如图 5 所示在大多数测试场景中我们的框架在多种数据损坏条件下均取得了显著更优的 AURC 失效检测性能。3.3. Ablation Studies各组成模块的作用。表 2 总结了我们框架中各个组成模块所带来的性能增益实验在 HMDB 数据集上进行。以 MSP 基线为起点单独引入自适应置信度损失Adaptive Confidence Loss或多模态特征交换模块Multimodal Feature SwappingMFS均能够在所有评估指标上带来性能提升。更重要的是当两个模块结合使用时可以取得最显著的整体性能增益。这些结果表明所提出的两个模块具有较强的互补性。对不同网络架构的鲁棒性。为了验证我们方法的可扩展性我们采用其他骨干编码器进行实验具体包括 I3D [4] 和 TSN [61]用于提取视频与光流特征。HMDB51 数据集上的实验结果如表 4 所示。尽管这些网络架构更加轻量并且在结构上与原始骨干存在明显差异我们的方法在四项评估指标上仍然保持了较强的竞争力。与所有基线方法相比我们的方法始终能够取得更低的 FPR95 和 AURC以及更高的 AUROC。ACR 能够提升多模态分布外检测性能。一个可靠的多模态系统应当能够将分布外样本和误分类的分布内样本同时与正确预测区分开来。因此除了失效检测之外我们还基于 MultiOOD 基准 [14]进一步研究了所提出方法的分布外检测能力重点考察视频和光流模态。实验中HMDB51 被用作分布内数据集Kinetics-600、UCF101 [55]、EPIC-Kitchens 和 HAC 被用作分布外数据集。模型性能采用 AUROC、FPR95 和分布内准确率进行评估。我们分别使用 MultiOOD 中的 A2DNP-MixAN策略 [14] 和我们提出的 ACR 框架进行模型训练随后结合多种分布外置信度评分函数进行评估包括 MSP、Energy、MaxLogit 和 GEN [42]。表 6 中的结果表明与 AN 相比ACR 不仅具有较强的失效检测能力同时也表现出稳健的分布外检测性能。存在分布外样本时的失效检测。在这一更具挑战性的设置中测试数据中被引入了分布外样本模型需要同时将分布外样本和误分类的分布内样本与正确预测区分开来。我们使用 HMDB51 作为分布内数据集并从 HAC 数据集中引入分布外样本。如表 5 所示我们提出的 ACR 在该场景下表现出较强的鲁棒性能够准确识别分布外样本和误分类样本。与性能最优的基线方法相比ACR 在 AUROC、FPR95 和 ACC 上分别取得了平均 1.47%、4.45% 和 0.57% 的提升。与其他特征空间增强方法的比较。为了评估其他增强策略的有效性我们分别使用随机噪声、随机丢弃和特征混合 [40] 替换 MFS 模块。其中随机噪声是指随机将嵌入特征值替换为噪声随机丢弃是指随机将嵌入特征值替换为零。如表 7 所示所有基线增强方法均能够提升失效检测性能这表明通过合成离群样本进行正则化具有重要作用。然而MFS 的效果最为显著。这是因为 MFS 可以生成具有不同难度的离群样本从而更充分地刻画跨模态不一致性。更多模态上的评估。为了进一步验证所提出框架的鲁棒性我们在 SemanticKITTI 数据集 [3] 上进行了实验并使用图像和 LiDAR 点云两种模态完成三维语义分割任务。我们采用文献 [74] 中的融合框架并将其评估方式调整为失效检测设置。如表 8 所示我们的框架在语义分割任务上同样取得了较强的失效检测性能。可视化分析。为了从定性角度评估置信度分数的分布我们对 HMDB51 数据集上正确预测和错误预测样本的置信度分数进行了可视化结果如图 6 所示。基线 MSP 方法在正确分类样本和误分类样本之间的置信度分数区分并不明显。相比之下我们提出的方法会为正确预测分配更高的置信度分数同时为错误预测分配明显更低的置信度分数。因此正确预测和错误预测的置信度分布能够更加清晰地分离从而进一步提升失效检测的有效性。4. Conclusion在本研究中我们关注并解决了多模态系统中的失效检测问题。该问题十分关键但尚未得到充分研究同时也是保障多模态系统在安全敏感领域中可靠运行的重要环节。为此我们提出了 ACR这是首个专门针对多模态失效检测问题设计的框架。通过分析置信度退化现象我们发现在大多数错误预测样本中多模态融合预测的置信度反而低于对应单模态预测的置信度。针对这一现象我们提出了自适应置信度损失Adaptive Confidence Loss在训练过程中直接对这种异常行为进行惩罚。此外我们还提出了多模态特征交换Multimodal Feature Swapping技术通过合成具有挑战性的离群样本进一步增强模型识别和标记不可靠预测的能力。在四个不同的数据集和三种模态上的大量实验结果表明ACR 具有优越的性能和良好的泛化能力并显著优于现有基线方法。通过更加可靠地识别不可信预测ACR 为提升多模态系统在真实应用场景中的安全性与可信性迈出了重要一步。