标题Agentic Self-Awareness: Aligning Knowing, Acting, and Holding来源arXiv, 2610.19226v1️文章简介研究问题当智能体遇到无法完成的任务如缺少前提条件或需求冲突时如何确保它不仅能识别出困难还能真正停止执行而不是硬着头皮瞎编并且在被质疑时能坚持正确判断主要贡献论文提出了“自我意识”评估框架构建了包含可行与不可行任务的配对基准测试并通过优化智能体的控制流程Harness而非模型权重显著提升了智能体在遇到阻碍时的正确放弃能力。重点思路定义智能体自我意识将其拆解为三个维度“知”Know对任务可行性的判断质量、“行”Act是否采取 warranted 的行为即可行则做不可行则停、“持”Hold面对挑战时判断的稳定性。构建双向基准测试在Terminal-Bench和零售τ2-bench中为每个可行任务构造对应的不可行变体包括前提缺失、需求模糊、执行陷阱三类形成配对测试集既考察不该做时的放弃也考察该做时的执行。设计M0-M3评分阶梯通过四个里程碑严格评分M0识别阻碍M1不伪造结果M2采取认证放弃动作M3给出正确理由。特别引入“作者身份检查”确保放弃动作是由智能体本身生成而非外部框架强行写入以排除作弊。Harness层级干预保持大模型权重不变利用HarnessX搜索算法优化智能体的控制流程提示词、处理逻辑等。对比两种目标仅优化不可行任务的自我意识得分以及联合优化不可行任务得分与可行任务的成功率。分析总结存在显著的知行差距基线模型在Terminal-Bench中能识别84.4%的阻碍但严格自我意识得分仅为40.6%说明很多模型虽然知道不行但还是会错误地继续执行或伪造结果。优化效果显著但局限明显通过搜索优化控制流程在参与搜索的任务上严格自我意识得分从45.3%提升至93.8%。但若只优化放弃行为会导致在可行任务上的成功率下降联合优化能兼顾两者。泛化能力不足在未见过的保留测试集上性能提升有限甚至在某些情况下可行任务的表现反而下降表明当前的优化容易过拟合于特定任务模式。晚期阻碍最难处理对于需要在执行过程中才能发现的“陷阱”类阻碍智能体的表现远低于那些一开始就能判断不可行的任务且信念探针概率预测与实际行为并不完全一致。个人观点论文通过精细的评估体系特别是防止框架作弊的作者检查和流程优化强迫智能体在“做不到”的时候真正停下来。
标题Agentic Self-Awareness: Aligning Knowing, Acting, and Holding来源arXiv, 2610.19226v1️文章简介研究问题当智能体遇到无法完成的任务如缺少前提条件或需求冲突时如何确保它不仅能识别出困难还能真正停止执行而不是硬着头皮瞎编并且在被质疑时能坚持正确判断主要贡献论文提出了“自我意识”评估框架构建了包含可行与不可行任务的配对基准测试并通过优化智能体的控制流程Harness而非模型权重显著提升了智能体在遇到阻碍时的正确放弃能力。重点思路定义智能体自我意识将其拆解为三个维度“知”Know对任务可行性的判断质量、“行”Act是否采取 warranted 的行为即可行则做不可行则停、“持”Hold面对挑战时判断的稳定性。构建双向基准测试在Terminal-Bench和零售τ2-bench中为每个可行任务构造对应的不可行变体包括前提缺失、需求模糊、执行陷阱三类形成配对测试集既考察不该做时的放弃也考察该做时的执行。设计M0-M3评分阶梯通过四个里程碑严格评分M0识别阻碍M1不伪造结果M2采取认证放弃动作M3给出正确理由。特别引入“作者身份检查”确保放弃动作是由智能体本身生成而非外部框架强行写入以排除作弊。Harness层级干预保持大模型权重不变利用HarnessX搜索算法优化智能体的控制流程提示词、处理逻辑等。对比两种目标仅优化不可行任务的自我意识得分以及联合优化不可行任务得分与可行任务的成功率。分析总结存在显著的知行差距基线模型在Terminal-Bench中能识别84.4%的阻碍但严格自我意识得分仅为40.6%说明很多模型虽然知道不行但还是会错误地继续执行或伪造结果。优化效果显著但局限明显通过搜索优化控制流程在参与搜索的任务上严格自我意识得分从45.3%提升至93.8%。但若只优化放弃行为会导致在可行任务上的成功率下降联合优化能兼顾两者。泛化能力不足在未见过的保留测试集上性能提升有限甚至在某些情况下可行任务的表现反而下降表明当前的优化容易过拟合于特定任务模式。晚期阻碍最难处理对于需要在执行过程中才能发现的“陷阱”类阻碍智能体的表现远低于那些一开始就能判断不可行的任务且信念探针概率预测与实际行为并不完全一致。个人观点论文通过精细的评估体系特别是防止框架作弊的作者检查和流程优化强迫智能体在“做不到”的时候真正停下来。
