AgentSight：面向多智能体系统的可解释事后诊断框架原文网页：https://arxiv.org/html/2610.13889v1PDF链接：https://arxiv.org/pdf/2610.13889v1arXiv编号：arXiv:2610.13889v1 [cs.AI]摘要多智能体系统依靠多个子智能体分工协作完成复杂任务，但系统失效时，海量交互日志、交错通信、长执行轨迹会带来故障定位难题：很难定位究竟是哪一个智能体、哪一条消息、哪一步推理造成整体失败。现有调试工具大多面向单智能体，缺少针对多智能体交互链路的因果溯源能力。本文提出AgentSight，一套多智能体可解释事后诊断框架。该框架读取完整多智能体执行日志，构建多智能体因果信息流图MCIG（Multi‑Agent Causal Information Graph），显式建模智能体、消息、工具调用、中间产物之间的因果依赖；基于MCIG实现两层故障溯源：①粗粒度根因候选筛选；②细粒度对比反事实分析，定位真正的故障根源。在Multi‑Agent‑Bench、MAMU两个多智能体基准上开展实验：AgentSight根因定位精确率达到86.2%，召回率82.7%，显著优于LLM直接日志阅读、图检索基线；消融实验验证MCIG图结构、反事实分析模块的关键贡献。案例分析表明该框架可以定位多种典型多智能体故障：错误消息传播、智能体推理缺陷、工具调用错误、错误中间结果扩散。全部代码与评测脚本开源。关键词多智能体；事后诊断；因果信息流图；故障根因定位；反事实分析；可解释AI；智能体调试目录引言相关工作AgentSight方法框架3.1 多智能体因果信息流图 MCIG3.2 日志解析与图构建流水线3.3 两层故障溯源流水线3.3.1 第一层：粗粒度根因候选筛选3.3.2 第二层：细粒度反事实对比分析实验设置实验结果5.1 主实验：根因定位整体性能5.2 消融实验5.3 不同故障类型细分性能5.4 案例分析讨论与局限性结论附录简要说明1 引言多智能体系统通过多个具备不同角色的智能体分工、消息通信、工具调用完成复杂任务，在代码开发、科研、规划任务中广泛使用。多智能体系统的失效模式比单智能体更加复杂：故障源头可能是某个智能体推理错误、工具调用出错；错误结果通过消息广播传递给其它智能体；多个子模块小缺陷叠加，最终造成整体任务失败。当任务失败后，开发者需要阅读海量交错的交互日志，人工追踪信息传播链路，定位根因，调试成本很高。现有智能体调试工具大多面向单智能体，侧重轨迹可视化、提示词调试、单步推理检查；直接把完整原始日志丢给大模型阅读做诊断，容易受长上下文干扰，容易混淆因果关联与单纯时序先后关系，经常输出虚假根因。核心挑战：多智能体故障诊断需要厘清信息如何跨智能体流动、哪些中间结果是下游错误的真正诱因，而不只是看事件发生先后顺序。本文提出AgentSight事后诊断框架，输入多智能体完整JSON日志，输出任务失败的根因位置与解释。构建MCIG多智能体因果信息流图，节点分为智能体实例、消息、工具调用、中间工件；边代表因果信息依赖，刻画“谁产生什么，被谁消费”。两层溯源流水线：第一层粗粒度筛选：从任务失败终点反向回溯信息流，生成根因候选集合，过滤大量无关节点；第二层细粒度反事实对比：对候选节点执行反事实仿真：替换该节点输出为正确版本，在MCIG图上做前向传播，观察任务失败是否被消除；以此判定该节点是否为真实根因。本文主要贡献提出MCIG多智能体因果信息流图，显式建模多智能体系统内部智能体、消息、工具、中间工件之间的因果信息依赖。设计两层溯源流水线：反向回溯筛选候选 + 图上反事实前向仿真分析，实现多智能体故障根因定位。在Multi‑Agent‑Bench、MAMU多智能体基准评测，AgentSight精确率86.2%、召回率82.7%，优于LLM直接读日志、图检索基线；消融验证MCIG与反事实模块必要性；对四类典型多智能体故障开展案例分析。全部解析脚本、评测数据集、实验代码开源。2 相关工作2.1 智能体调试与可观测性单智能体调试：LangSmith、AgentScope Trace、OpenHands Trace，提供轨迹可视化、日志检索、LLM‑as‑Judge逐步骤评估；但缺少跨智能体的因果依赖建模，很难处理消息传播导致的连锁故障。2.2 多智能体可观测与诊断部分多智能体框架提供消息日志记录；但大多只做时序展示，不提取因果依赖。现有工作多聚焦运行时监控告警，面向事后离线根因定位的专门框架较少。2.3 因果推断与反事实分析在AI调试反事实分析广泛用于大模型、推荐系统调试；对于多智能体，AgentSight在已构建的信息流图之上做图内反事实仿真，不需要重复运行真实多智能体，只在图层面传播改动效果，开销低。2.4 图结构用于智能体分析Otap、OnTrack等工作构建执行DAG，但主要针对单智能体步骤‑工件依赖；AgentSight的MCIG额外建模智能体实例、跨智能体消息传递边，适配多智能体通信交互场景。3 AgentSight方法框架整体流程：多智能体原始日志 → 日志解析器 → MCIG因果信息流图构建 → 两层故障溯源 → 输出根因集合+自然语言解释。3.1 多智能体因果信息流图 MCIGMCIG定义为有向图KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲G=(V,E)\)。节点集合V VV分为4类节点：A AA：智能体实例节点；记录智能体ID、角色、配置；M MM：消息节点；智能体之间传递的消息，包含发送方、接收方、消息内容、时间戳；T TT：工具调用节点；工具名称、入参、返回结果、调用发起智能体；O OO：中间工件节点；推理输出、子任务结果、文档片段等中间产出。边集合
AgentSight：面向多智能体系统的可解释事后诊断框架原文网页：https://arxiv.org/html/2610.13889v1PDF链接：https://arxiv.org/pdf/2610.13889v1arXiv编号：arXiv:2610.13889v1 [cs.AI]摘要多智能体系统依靠多个子智能体分工协作完成复杂任务，但系统失效时，海量交互日志、交错通信、长执行轨迹会带来故障定位难题：很难定位究竟是哪一个智能体、哪一条消息、哪一步推理造成整体失败。现有调试工具大多面向单智能体，缺少针对多智能体交互链路的因果溯源能力。本文提出AgentSight，一套多智能体可解释事后诊断框架。该框架读取完整多智能体执行日志，构建多智能体因果信息流图MCIG（Multi‑Agent Causal Information Graph），显式建模智能体、消息、工具调用、中间产物之间的因果依赖；基于MCIG实现两层故障溯源：①粗粒度根因候选筛选；②细粒度对比反事实分析，定位真正的故障根源。在Multi‑Agent‑Bench、MAMU两个多智能体基准上开展实验：AgentSight根因定位精确率达到86.2%，召回率82.7%，显著优于LLM直接日志阅读、图检索基线；消融实验验证MCIG图结构、反事实分析模块的关键贡献。案例分析表明该框架可以定位多种典型多智能体故障：错误消息传播、智能体推理缺陷、工具调用错误、错误中间结果扩散。全部代码与评测脚本开源。关键词多智能体；事后诊断；因果信息流图；故障根因定位；反事实分析；可解释AI；智能体调试目录引言相关工作AgentSight方法框架3.1 多智能体因果信息流图 MCIG3.2 日志解析与图构建流水线3.3 两层故障溯源流水线3.3.1 第一层：粗粒度根因候选筛选3.3.2 第二层：细粒度反事实对比分析实验设置实验结果5.1 主实验：根因定位整体性能5.2 消融实验5.3 不同故障类型细分性能5.4 案例分析讨论与局限性结论附录简要说明1 引言多智能体系统通过多个具备不同角色的智能体分工、消息通信、工具调用完成复杂任务，在代码开发、科研、规划任务中广泛使用。多智能体系统的失效模式比单智能体更加复杂：故障源头可能是某个智能体推理错误、工具调用出错；错误结果通过消息广播传递给其它智能体；多个子模块小缺陷叠加，最终造成整体任务失败。当任务失败后，开发者需要阅读海量交错的交互日志，人工追踪信息传播链路，定位根因，调试成本很高。现有智能体调试工具大多面向单智能体，侧重轨迹可视化、提示词调试、单步推理检查；直接把完整原始日志丢给大模型阅读做诊断，容易受长上下文干扰，容易混淆因果关联与单纯时序先后关系，经常输出虚假根因。核心挑战：多智能体故障诊断需要厘清信息如何跨智能体流动、哪些中间结果是下游错误的真正诱因，而不只是看事件发生先后顺序。本文提出AgentSight事后诊断框架，输入多智能体完整JSON日志，输出任务失败的根因位置与解释。构建MCIG多智能体因果信息流图，节点分为智能体实例、消息、工具调用、中间工件；边代表因果信息依赖，刻画“谁产生什么，被谁消费”。两层溯源流水线：第一层粗粒度筛选：从任务失败终点反向回溯信息流，生成根因候选集合，过滤大量无关节点；第二层细粒度反事实对比：对候选节点执行反事实仿真：替换该节点输出为正确版本，在MCIG图上做前向传播，观察任务失败是否被消除；以此判定该节点是否为真实根因。本文主要贡献提出MCIG多智能体因果信息流图，显式建模多智能体系统内部智能体、消息、工具、中间工件之间的因果信息依赖。设计两层溯源流水线：反向回溯筛选候选 + 图上反事实前向仿真分析，实现多智能体故障根因定位。在Multi‑Agent‑Bench、MAMU多智能体基准评测，AgentSight精确率86.2%、召回率82.7%，优于LLM直接读日志、图检索基线；消融验证MCIG与反事实模块必要性；对四类典型多智能体故障开展案例分析。全部解析脚本、评测数据集、实验代码开源。2 相关工作2.1 智能体调试与可观测性单智能体调试：LangSmith、AgentScope Trace、OpenHands Trace，提供轨迹可视化、日志检索、LLM‑as‑Judge逐步骤评估；但缺少跨智能体的因果依赖建模，很难处理消息传播导致的连锁故障。2.2 多智能体可观测与诊断部分多智能体框架提供消息日志记录；但大多只做时序展示，不提取因果依赖。现有工作多聚焦运行时监控告警，面向事后离线根因定位的专门框架较少。2.3 因果推断与反事实分析在AI调试反事实分析广泛用于大模型、推荐系统调试；对于多智能体，AgentSight在已构建的信息流图之上做图内反事实仿真，不需要重复运行真实多智能体，只在图层面传播改动效果，开销低。2.4 图结构用于智能体分析Otap、OnTrack等工作构建执行DAG，但主要针对单智能体步骤‑工件依赖；AgentSight的MCIG额外建模智能体实例、跨智能体消息传递边，适配多智能体通信交互场景。3 AgentSight方法框架整体流程：多智能体原始日志 → 日志解析器 → MCIG因果信息流图构建 → 两层故障溯源 → 输出根因集合+自然语言解释。3.1 多智能体因果信息流图 MCIGMCIG定义为有向图KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲G=(V,E)\)。节点集合V VV分为4类节点：A AA：智能体实例节点；记录智能体ID、角色、配置；M MM：消息节点；智能体之间传递的消息，包含发送方、接收方、消息内容、时间戳；T TT：工具调用节点；工具名称、入参、返回结果、调用发起智能体；O OO：中间工件节点；推理输出、子任务结果、文档片段等中间产出。边集合
