📖标题：On the Limits of Metacognitive Monitoring in LLMs🌐来源：arXiv, 2609.34864v1🛎️文章简介🔸研究问题：大型语言模型在解决高难度任务时表现优异，但它们能否准确识别自己的错误？即模型的“解题能力”与“自我监控能力”是否同步？🔸主要贡献：论文揭示了前沿大模型在高准确率下仍存在严重的元认知监测缺陷，特别是难以区分难题中的正确与错误答案，且同伴互评对共同错误无效。📝重点思路🔸实验设计：选取GPT-5.6 Sol、Qwen、Gemini和Grok四种前沿模型，在15个涵盖数学、代码、推理等领域的基准测试上进行评估。🔸三种置信度采集：分别收集模型在“仅看问题（预测）”、“生成答案时（伴随）”和“回顾固定答案（复盘）”三个阶段的置信度评分，以分离解题与判断过程。🔸难度分层分析：引入外部参考模型定义题目难易度，对比模型在简单题和难题上的错误区分能力（AUROC指标），排除因题目本身难度差异带来的统计偏差。🔸交叉评估实验：让不同模型互相评价对方的固定答案，分析评估者自身是否正确解题对评判准确性的影响，以及是否存在“自恋偏好”。🔎分析总结🔸解题与判断分离：模型解题准确率高不代表能识别错误。例如GPT在MATH-500上准确率超96%，但其伴随答案的置信度几乎无法区分对错（AUROC接近随机猜测0.5）。🔸难题监测失效：所有模型在参考模型答错的“难题”上，置信度区分对错的能力极弱，甚至低于随机水平。整体良好的区分度主要源于模型能识别简单题，而非真正发现了难题中的错误。🔸复盘效果有限：让模型重新审视已生成的答案（Post-answer）能修正部分明显矛盾（如答案与推导不符），但对深层逻辑错误的难题帮助甚微，难题错误仍保持高置信度。🔸同伴互评局限：交叉评估仅在评估者自己答对题目时有效。若两个模型
📖标题：On the Limits of Metacognitive Monitoring in LLMs🌐来源：arXiv, 2609.34864v1🛎️文章简介🔸研究问题：大型语言模型在解决高难度任务时表现优异，但它们能否准确识别自己的错误？即模型的“解题能力”与“自我监控能力”是否同步？🔸主要贡献：论文揭示了前沿大模型在高准确率下仍存在严重的元认知监测缺陷，特别是难以区分难题中的正确与错误答案，且同伴互评对共同错误无效。📝重点思路🔸实验设计：选取GPT-5.6 Sol、Qwen、Gemini和Grok四种前沿模型，在15个涵盖数学、代码、推理等领域的基准测试上进行评估。🔸三种置信度采集：分别收集模型在“仅看问题（预测）”、“生成答案时（伴随）”和“回顾固定答案（复盘）”三个阶段的置信度评分，以分离解题与判断过程。🔸难度分层分析：引入外部参考模型定义题目难易度，对比模型在简单题和难题上的错误区分能力（AUROC指标），排除因题目本身难度差异带来的统计偏差。🔸交叉评估实验：让不同模型互相评价对方的固定答案，分析评估者自身是否正确解题对评判准确性的影响，以及是否存在“自恋偏好”。🔎分析总结🔸解题与判断分离：模型解题准确率高不代表能识别错误。例如GPT在MATH-500上准确率超96%，但其伴随答案的置信度几乎无法区分对错（AUROC接近随机猜测0.5）。🔸难题监测失效：所有模型在参考模型答错的“难题”上，置信度区分对错的能力极弱，甚至低于随机水平。整体良好的区分度主要源于模型能识别简单题，而非真正发现了难题中的错误。🔸复盘效果有限：让模型重新审视已生成的答案（Post-answer）能修正部分明显矛盾（如答案与推导不符），但对深层逻辑错误的难题帮助甚微，难题错误仍保持高置信度。🔸同伴互评局限：交叉评估仅在评估者自己答对题目时有效。若两个模型
