切断“幻觉捷径”：让多模态大模型视觉推理真正依赖证据

多模态大模型VLM越来越能“看图说话”但幻觉问题始终绕不过去。所谓幻觉捷径就是模型在没有足够视觉证据时只靠语言先验把答案猜出来。比如你给一张“大象站在厨房”的图片问“大象在哪里”模型如果回答“野外”它并不是在推理而是在背训练数据里的共现规律。今天想聊的这篇论文核心主张就是切断这条捷径让视觉推理真正依赖证据而不是语言统计规律。适合谁看如果你做多模态模型评测、VLM幻觉治理或者想让问答系统给出可验证理由这篇内容应该能帮你理清思路。下面我从问题定义、方法设计、实验验证、落地边界四个方向拆开讲。1. VLM 幻觉问题到底卡在哪语言先验是怎么变成“捷径”的1.1 先理解多模态大模型的推理链条VLM 的处理链路通常是图像编码器把图片转成视觉特征文本编码器负责问题中间经过跨模态融合最后用语言模型生成答案。这条链路看起来是“看图说话”但实际生成方式还是自回归的也就是一个 token 一个 token 往下预测。这里有个容易被忽略的问题自回归生成并不是先完整“看完图”再写答案而是每一步都根据当前已生成的文本和全局视觉特征去预测下一个词。当视觉特征提供的证据不足或者图像信息在融合过程中被压缩、干扰时语言模型部分就会自动用最顺口的文本补全答案。这种补全不是基于图像而是基于训练语料里的统计规律。所以“视觉推理”这个词听着很可靠实际执行时却经常退化成“视觉启动 语言填空”。1.2 语言先验为什么会成为捷径先验其实是模型不可避免的一部分。模型在训练时见过大量图文语料知道“大象”通常出现在“草原”“野外”“动物园”这些场景里。如果问题问的是“大象在哪里”模型对“野外”这类答案的预期概率本来就高。问题在于模型分不清这一次的答案应该来自图像还是来自记忆。当图像区域不明显、目标太小、存在遮挡或者场景和常见组合不一致时模型会倾向于选择“概率最高”的答案而不是“图像实际支持”的答案。这就是论文里所说的捷径它让模型不用真正看图像也能蒙对一部分问题。为什么叫捷径因为训练目标通常只评价最终答案是否正确并不评价模型是否看到了正确的区域。只要训练集里“大象在野外”这类样本足够多模型就会学到一条省力的决策路径遇到类似问题直接按语言先验输出而不是去图像里精确定位。1.3 这个“捷径”为什么不容易发现很多 VLM 在常见测试集上准确率很高但换个环境就开始出错。问题在于常见测试集的答案分布往往和训练语料高度一致模型靠先验就能答对不少题整体分数看不出异常。真正能暴露捷径的是反事实样本。比如把沙发放在沙漠里问“这张图片的拍摄地点更可能在哪个环境”或者把一只蓝色的猫放在草地上问“猫是什么颜色”。如果模型还能给出“猫是橘色”“地点是客厅”这类常见但和图像不符的答案说明它根本没有依赖视觉证据。我在实测时会用很笨的办法先准备 20 到 30 张“常见组合被打破”的图片让模型回答并给出置信度。如果模型错误答案的置信度还很高那基本可以断定它已经走上了语言先验的捷径。这个诊断阶段不需要复杂训练只需要一个能输入图片的开源多模态模型和一批反事实样本。2. 论文想解决什么问题从“像人一样看”到“按证据回答”2.1 核心目标不是消灭先验而是约束先验的使用方式稍微想一下就知道完全消灭语言先验既不可能也没必要。人类也会用常识推断比如看到“沙滩上有一只企鹅”即使图片像素不高也能推测“这可能是错误摆放或后期合成”。常识和视觉证据需要配合。所以这篇工作的目标不应该被理解成“让模型变成纯视觉机器”而是给先验加约束先找到证据再决定要不要用它证据不支持时宁可降低置信度或拒绝回答也不能硬猜。这是我读这类论文时最在意的判断点方法有没有把“证据”变成可检查的中间产物。如果没有那它只是在改答案分布还是在绕捷径。2.2 证据的定义哪些信息才算视觉证据论文里反复出现的关键词是证据。但证据不是一个模糊概念它需要具备可定位、可验证、和答案存在因果对应三个特点。可定位答案要能对应到图像里的某个区域、物体或关系。可验证另一个模型或标注者能够根据图像确认这个区域确实存在。因果对应证据对答案有真正的支撑作用而不是“出现了一下”就算相关。举个例子。问题是“照片里人物的帽子是什么颜色”。如果模型输出“红色”但没有任何区域标注这个答案就无法验证。如果模型输出一个目标框框住人物的头部并标明“帽子区域”那么这就是一条可核验的证据。更有意思的是“相关性”和“因果性”的区别。图片里正好有一面红色旗帜模型拿红色旗帜当“红帽子”的证据这就属于相关性误用。真正有效的证据必须落在帽子区域而不是随便一个红色物体。这类细节决定了证据监督训练的质量。2.3 这类方法与常规微调的本质区别常规微调通常只调整答案分布给模型更多“问题-正确答案”对让它记住这些模式。这样做当然能提升特定任务准确率但模型并没有被迫学习“证据如何使用”。这类方法则把监督信号从“答案层”下沉到“推理过程层”。模型不能只输出一个答案还要输出它根据图像哪些区域、哪些属性得出这个答案。更严格的做法是在训练时把证据区域作为额外监督模型不仅要答对还要在对应位置给出有效的证据。换句话说常规微调是在教模型“背更多题”而这类方法是在教模型“先把题目的依据找出来”。前者更适合提升熟悉场景表现后者更适合做稳定、可解释、抗分布变化的推理。3. 方法拆解让视觉推理依赖证据的主流设计思路3.1 视觉证据的显式提取第一种常见做法是先用视觉模型把图像中的候选物体、区域、属性提取出来。这些视觉模型可以是目标检测、分割模型也可以是带区域描述的视觉编码器。提取结果通常会转成结构化文本再送进大模型。这样做的好处是模型不用自己在大图里漫无目的地找信息而是拿到一批“可能相关的候选证据”。比如你问“图中有几个人”先行的检测器可以输出几个 person 框模型直接在这些框的基础上做计数。如果检测器漏了一个被遮挡的人模型也可能跟着漏数。所以显式提取的关键不是“跑通就行”而是检查检测器的召回率。我一般会把检测器的置信度阈值设置在 0.5 到 0.9 之间太低会混入大量噪声太高会漏掉有效证据。具体阈值要看任务计数任务更看重召回属性识别更看重精度。3.2 推理链路上的干预第二种思路是在模型回答之前强制它先输出证据链。类似“图中有一个人在跑步跑步者穿着黄色上衣因此答案是人”。这类方法也被称为视觉思维链或者更广义的可验证推理。但这里有一个容易踩的坑模型完全可能一边编造证据一边给出答案。所谓“伪证据”就是模型说“我看到了一只狗”但图像里根本没有狗只是它觉得这个问题通常和狗有关。所以仅仅在提示词里加一句“请先描述图片再回答”是不够的必须在训练或后处理时验证证据是否真的存在。我在工程上通常会做两层检查第一层是格式检查模型输出的证据区域是否落在图像范围内属性描述是否完整第二层是语义检查可以用一个专门的小模型判断“这个区域是否存在并具有这个属性”。两层都通过才把答案作为高置信度输出。3.3 训练数据与目标函数的设计要让模型真正学会依赖证据训练数据就不能只有“问题和答案”还要有“证据目标”。结构化证据标签可以设计成统一的 JSON 格式这样既方便训练也方便推理后解析。一个较通用的标注结构如下{ question: 图中人物的帽子是什么颜色, evidence: { bbox: [120, 88, 240, 160], object: 帽子, attribute: 红色, checked: true }, answer: 红色, confidence: 0.92 }训练时模型需要同时预测 evidence 字段和 answer 字段。损失函数也不是单一答案交叉熵而是答案损失加上证据损失。证据损失可以细分为区域坐标回归、物体类别损失、属性判断损失。不同的权重会影响训练结果如果答案损失权重太大模型还是会偷懒如果证据损失权重太大模型可能为了迁就证据而改变答案。3.4 推理时的判别机制即使训练时加入了证据监督推理时也不能完全信任模型输出。我比较推荐在解码后加一层规则校验从生成结果中解析出 evidence 区域检查区域坐标是否在图像边界内用预先定义的物体类别或属性列表做匹配如果证据缺失或校验失败降低答案置信度或输出“无法确定”。这相当于给模型加了一个“安全阀”。它的价值不是提升模型的上限而是减少高置信度错误。对生产系统来说这比单纯追求准确率更重要因为“答错但态度坚定”的可信度伤害很大。这类做法也能和文本生成的解码参数配合。采样温度偏高时模型更容易发散幻觉更容易出现。排查问题时不要一上来就怀疑模型没训练好先看一下 temperature 是不是开到了 1.0 以上。4. 复现和验证时怎么设计实验从单张反例到证据指标4.1 建议的最小验证路径我不建议一上来就全量训练一个大模型。更稳妥的路径是先把问题缩小到单个任务例如“颜色识别”或“计数”在 100 到 200 条样本上完成一轮验证。第一步找一个人能看懂的基线模型。第二步构造 20 到 30 条反事实样本确认基线模型确实存在语言先验错误。第三步给这些样本标注证据区域。第四步用带证据监督的配置跑一个小规模训练。第五步对比有无证据监督前后的准确率、证据正确率和拒答率。这个过程中最容易被跳过的是第一步和第二步。很多人直接拿公开评测集开始微调结果发现提升不明显原因是测试集里本来就没什么反事实样本模型靠先验也能答对改进当然体现不出来。4.2 评估指标不能只看准确率只看最终答案准确率很难判断模型是不是真的在依赖证据。我建议至少同时记录下面几个指标指标判断方式说明答案准确率模型最终答案与标准答案是否一致容易被语言先验拉高不能单独使用证据正确率模型给出的证据区域/属性是否与标注一致判断模型是否找对了图像依据支持率答案正确且证据正确的比例这是“真正依赖证据”的核心指标拒答率证据不足时模型是否输出“无法判断”好的模型应当敢于不猜反事实鲁棒性在反事实样本上的答案准确率能暴露语言先验残留我一般会把“支持率”作为最重要的人工校验指标。一个只靠先验回答的系统即使答案偶尔对证据正确率通常很低支持率也不会高。4.3 标注证据时的常见问题证据标注质量直接决定训练效果。最容易出现的问题是标注不一致同一个人在不同时间可能把边界框画得很不一样。这个问题的解决办法是先写清楚任务专用的标注规范。规范至少要包含边界框是该框住整个物体还是只框住回答问题的关键部位属性是否区分“颜色”“材质”“状态”比如“红色帽子”和“红色标志”不能混淆如果问题需要多个对象联合判断是否允许标注多个证据框图像里确实找不到证据时是否允许标记为“无证据”。我建议每个问题至少由两个人标注做完一致性检查。如果两人标注框的交并比低于 0.5说明任务定义还不清晰先不要急着训模型。4.4 常用基线对比实验对照设计也很重要。不要只对比“有监督”和“无监督”要拆开看每一层设计到底带来了多少提升。我经常用的对照组合基线 A原始多模态模型直接回答基线 B在提示词里加“请先描述图片再回答”基线 C让模型输出视觉思维链但不做证据校验实验组使用证据监督训练并增加推理时校验。看一眼各组合在支持率和反事实鲁棒性上的差异就能知道哪些步骤是真正有效的。如果提示词基线就能大幅提升正确答案可能说明问题更多出在解码策略而不是模型能力如果加了证据监督但支持率没变化就要检查标注数据是否干净或者模型是否学会了伪造证据。5. 实际落地的边界与坑显存、数据质量、训练稳定性、评估偏差5.1 显存和算力不是所有环境都能跑完整流程论文里的完整流程通常包含视觉检测器、大语言模型、证据校验器真要全部加载显存需求不低。如果你手里只有 16GB 左右的显卡不要直接尝试全量微调。常见的降级方案是只训练语言模型部分的低秩适配层也就是 LoRA / QLoRA 这类参数高效微调方式。视觉编码器可以冻结最多微调最后一两层。这样既降低了显存占用也保留了视觉编码器原有的理解能力。图像分辨率也会明显影响显存和速度。输入图越大视觉 token 越多显存上升很快。低配置环境建议先把输入分辨率固定到一个较小值比如 336 或 448 附近再观察效果。如果模型处理大图能力有限可以在预处理阶段先裁出关键区域而不是整图压缩。5.2 训练数据不干净会带来“证据污染”如果证据标注本身质量差模型学到的不是“找证据”而是“编一个符合答案的证据”。这种情况比没有证据监督更危险。典型场景是一张图里有一只红色球和一个戴红色帽子的女孩但问题问的是“帽子的颜色”。如果标注者把红色球所在的框当成证据模型就会学到“看见红色物体就输出红色”的坏习惯。表面上看答案正确证据却完全不相关。所以训练前一定要做证据和问题的一致性审核。我习惯在训练集里随机抽取 10% 的样本逐条检查 evidence 区域是否真的对应问题描述的实体。发现问题就回到标注环节修正而不是强行靠训练去纠正。5.3 评估集偏差模型可能背答案公开数据集往往存在分布偏差。比如“帽子颜色”问题里红色出现的频率很高模型只要一直猜红色准确率就不会太低。这掩盖了证据缺失的问题。要避免这种情况最好自己构造一个“反事实子集”。具体做法是把常见组合做一些反转或者在同一张图里故意设置多个相似物体迫使模型必须明确指代。比如图中有两个人一个戴蓝帽子一个戴红帽子。问题写成“站在左边的人帽子是什么颜色”。如果模型没有证据监督很容易只凭“帽子颜色”这个高频词输出“红色”。但正确答案必须是“蓝色”。这类样本能非常直接地暴露语言先验。5.4 训练稳定性和重复实验加入证据损失后训练可能会变得不稳定。最明显的现象是答案准确率还在上升但证据正确率突然掉下去或者两者来回震荡。我遇到这种情况会按以下顺序排查先看数据加载和预处理证据框坐标是否已经归一化类别标签是否匹配再看损失权重证据损失权重是否过大尝试降低到答案损失的 0.2 到 0.5 倍然后看训练阶段损失函数是否一开始就把证据监督加进来了如果模型还在学习基本对齐可以先跑几个 epoch 只训答案损失再打开证据损失最后看梯度状态如果 loss 持续下降但指标不涨可能是模型陷入了“输出格式正确但语义错误”的局部最优需要引入更多反事实样本。每次实验固定随机种子至少跑 3 次取平均。单次实验偶然性很大尤其数据量很小时一次结果说明不了问题。6. 我更建议的实践顺序先诊断再标注后训练最后推广6.1 第一阶段用现成模型跑对抗样例在我给团队做方案时第一步永远是让现有模型“出丑”。不需要训练只需要拿现成的多模态模型跑 10 到 20 个反事实样例。判断标准很简单错误是否集中在“图像证据明显但答案却来自常识”的样本上。如果是说明先验干扰是真的如果不是可能模型问题更多来自没看清、指令理解错误或性能瓶颈。这个阶段能帮你确认该不该引入证据监督。6.2 第二阶段做人工证据标注选择一个窄任务开始标注。任务越具体越好比如“单物体颜色判断”“室内场景物体计数”“空间关系左/右判断”。标注时统一使用类似前面提到的 JSON 结构。每个样本必须包含问题证据区域证据属性或对象描述标准答案是否允许模型在证据不足时拒答。标注完成后做一轮质量抽检。如果抽检发现证据和问题对应关系不清晰就先回到标注规范不要急着训练。6.3 第三阶段在单一任务上验证干预效果第一次训练不要贪多。一个任务、几千条样本、一个轻量模型足够看出证据监督有没有效果。训练完成后重点看两个数支持率和反事实鲁棒性。如果支持率明显提升说明模型确实开始依赖证据如果准确率没变但支持率上升也可以视为一种改进因为模型输出变得更可解释了。如果两者都下降大概率是数据或训练配置有问题。6.4 第四阶段再看能不能推广到开放场景单一任务有效之后很多人会直接跳到“所有图片都能处理”这一步最容易翻车。建议先扩展到两个或三个相关任务比如从“颜色识别”扩展到“颜色 材质识别”。观察模型在未见过图片、新组合下的表现。如果升级任务后支持率明显下降一般是因为证据定义太窄或者训练数据里新任务的覆盖不足。这时候不要急着加更多网络模块回到数据层面补充更多“证据清晰但答案容易猜错”的样本往往效果更好。踩过几次之后我发现很多 VLM 幻觉问题不是模型能力不够而是训练目标和评估方式一直在奖励语言先验。想让视觉推理真正依赖证据关键不是用更大模型硬扛而是把证据变成可标注、可训练、可校验的中间结果。从单任务实验开始先把证据链路跑稳再谈开放场景的泛化这条路会踏实得多。