📖标题：JudgeProfile: Understanding and Steering Subjectivity in LLM Judges🌐来源：arXiv, 2609.36705v1🛎️文章简介🔸研究问题：为什么大模型在评判两个都没有客观错误的回答时，会表现出主观偏好差异？这种差异究竟是因为它们“看”得不一样，还是因为“重视”的点不一样？🔸主要贡献：论文提出了JudgeProfile框架，将评估过程拆解为“感知”和“优先级”，发现模型间存在隐藏的感知共识，并通过简单的权重重校准就能有效提升评估一致性，效果优于微调和提示词工程。📝重点思路🔸构建JudgeProfile框架：将大模型的评估行为分解为两个阶段。第一阶段是“感知”，即模型如何比较两个回答在清晰度、正确性、细节等87个具体属性上的差异；第二阶段是“优先级”，即模型如何权衡这些属性对最终胜负的影响。🔸创建SubjectiveSet数据集：收集了来自17个公开数据源的50,013对回答，使用21个大模型作为裁判，进行了高达1.8亿次的属性级推理调用，以大规模量化分析主观性来源。🔸分离感知与优先级进行建模：首先让模型独立判断每个属性的优劣，然后利用逻辑回归模型，根据模型的整体选择反推其对各个属性的权重（即优先级）。这使得研究者可以区分是模型没看清属性，还是模型虽然看清了但更看重其他方面。🔸实施权重重校准策略：在不改变大模型本身及其属性判断结果的前提下，仅通过学习一组新的属性权重，来调整模型的最终决策，使其符合特定的参考标准或人类偏好。🔎分析总结🔸发现“隐藏共识”：即使不同模型对哪个回答更好存在分歧，它们在具体属性（如谁更详细、谁更准确）的判断上却有高达85.9%的一致性。这说明模型间的分歧主要不是源于感知错误，而是源于价值观或优先级的不同。🔸优先级差异是主观性的核心：即便基于相同的属性判断结果，不同模型拟合
📖标题：JudgeProfile: Understanding and Steering Subjectivity in LLM Judges🌐来源：arXiv, 2609.36705v1🛎️文章简介🔸研究问题：为什么大模型在评判两个都没有客观错误的回答时，会表现出主观偏好差异？这种差异究竟是因为它们“看”得不一样，还是因为“重视”的点不一样？🔸主要贡献：论文提出了JudgeProfile框架，将评估过程拆解为“感知”和“优先级”，发现模型间存在隐藏的感知共识，并通过简单的权重重校准就能有效提升评估一致性，效果优于微调和提示词工程。📝重点思路🔸构建JudgeProfile框架：将大模型的评估行为分解为两个阶段。第一阶段是“感知”，即模型如何比较两个回答在清晰度、正确性、细节等87个具体属性上的差异；第二阶段是“优先级”，即模型如何权衡这些属性对最终胜负的影响。🔸创建SubjectiveSet数据集：收集了来自17个公开数据源的50,013对回答，使用21个大模型作为裁判，进行了高达1.8亿次的属性级推理调用，以大规模量化分析主观性来源。🔸分离感知与优先级进行建模：首先让模型独立判断每个属性的优劣，然后利用逻辑回归模型，根据模型的整体选择反推其对各个属性的权重（即优先级）。这使得研究者可以区分是模型没看清属性，还是模型虽然看清了但更看重其他方面。🔸实施权重重校准策略：在不改变大模型本身及其属性判断结果的前提下，仅通过学习一组新的属性权重，来调整模型的最终决策，使其符合特定的参考标准或人类偏好。🔎分析总结🔸发现“隐藏共识”：即使不同模型对哪个回答更好存在分歧，它们在具体属性（如谁更详细、谁更准确）的判断上却有高达85.9%的一致性。这说明模型间的分歧主要不是源于感知错误，而是源于价值观或优先级的不同。🔸优先级差异是主观性的核心：即便基于相同的属性判断结果，不同模型拟合
---现代Agent=LLM+工具+上下文)
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
