子目标感知记忆图面向GUI智能体的记忆框架原文网页https://arxiv.org/html/2610.31307v1PDF链接https://arxiv.org/pdf/2610.31307v1arXiv编号arXiv:2610.31307v1 [cs.AI]摘要GUI智能体通过与移动端图形界面交互完成复杂用户任务。在长视界任务场景下仅依靠环境观测不足以做出有效决策需要复用过往交互经验。现有记忆方案一般将经验存储在单步动作粒度或者完整轨迹粒度。单步动作粒度过细很难承载有意义语义单个动作成功并不代表任务整体取得进展完整轨迹粒度过粗很难跨不同任务复用。本文提出子目标感知记忆图Subgoal(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))aware Memory Graph将历史交互轨迹提炼为子目标粒度的可复用结构化经验。子目标定义为具备统一子意图的连续动作序列该粒度可以有效衡量任务推进进度。为降低冗余、支持跨任务复用将子目标经验组织为图结构记忆基于环境观测对相关记忆执行合并、扩展、检索。在SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench基准上该方法相比无记忆基线任务成功率提升11.11个百分点。关键词GUI智能体子目标记忆图长视界智能体移动端智能体经验复用目录引言相关工作子目标感知记忆图方法3.1 子目标提取与元数据标注3.2 记忆图构建3.3 记忆检索流程实验设置实验结果结论与局限性参考文献1 引言GUI智能体与网页、手机App界面交互完成下单购物、设置闹钟、配置系统等复杂任务。SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench这类基准中单条任务往往需要跨多个屏幕执行30次以上GUI动作。长视界场景中大量子目标会在不同任务、不同App之间反复出现如果不能复用历史经验智能体每一次都要从零开始探索相同工作流。为解决该问题常见方案为给智能体增加情景记忆推理阶段可以查询历史经验。但现有记忆机制存在两种粒度的缺陷单步动作粒度存储观测、动作、结果三元组。单步点击、滑动的局部成功无法反映整体任务是否取得进展记忆库会快速累积大量冗余条目难以提炼可复用结构。完整轨迹粒度存储整条任务交互episode。完整轨迹绑定特定任务路径即便多个任务共享中间步骤也很难跨任务复用。本文选取中间抽象粒度——子目标子目标是具备连贯子意图的连续动作序列能够反映任务推进进度。同一个子目标既可以执行成功也可以执行失败该信息在单步动作粒度下不可见同时子目标天然支持跨任务迁移大量不同任务会复用相同子目标。本工作将历史交互轨迹处理为子目标链构建子目标感知记忆图子目标由起止界面截图作为视觉锚点附带子目标描述、执行效果、行为模式、成功标签将视觉相似的界面状态合并为图节点子目标作为连接节点的有向边新轨迹可以增量并入记忆图推理时根据当前屏幕检索相关子目标作为提示的一部分给到GUI智能体。本文主要贡献提出子目标这一中间抽象粒度弥补单步动作、完整轨迹两种记忆粒度的缺陷设计子目标感知记忆图视觉相似界面状态合并为节点子目标作为有向边同时保存成功、失败两类历史尝试在SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench移动端GUI基准基于Qwen3(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))VL(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))8B(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Instruct基座相比无记忆基线任务成功率提升11.11个百分点。2 相关工作2.1 GUI智能体GUI智能体接收自然语言目标执行点击、滑动、输入文本等操作操控手机。一类路线对视觉(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))语言模型做微调得到端到端智能体但训练成本高另一类路线冻结大模型权重依靠外部工具、知识库补充能力本工作属于冻结LLM这一技术路线。AppAgent依靠人工为每个App维护知识库MobileAgent引入视觉感知工具预测动作。2.2 GUI智能体记忆机制GUIExplorer挖掘单步观测(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))动作(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))结果三元组单步单元缺少任务进度语义记忆库冗余高。HyMEM把整条轨迹嵌入构建图记忆EchoTrail(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))GUI检索完整成功episode作为上下文示例。二者均使用整条轨迹作为基本单元受限于特定任务路径跨任务复用能力弱。本文探索尚未被充分研究的子目标中间粒度记忆图节点为共享视觉状态而不是单条任务或者单步动作条目。3 子目标感知记忆图方法轨迹KaTeX parse error: Cant use function \( in math mode at position 31: …_1,a_1,...,a_{n\̲(̲\tau(s_0,a_0,s…s i s_isi代表GUI截图a i a_iai代表执行动作。给定轨迹集合T { τ 1 , . . . , τ m } T\{\tau_1,...,\tau_m\}T{τ1,...,τm}构建记忆图M MM。推理阶段输入当前截图s q s_qsq检索得到子目标级别的历史经验拼接到智能体提示词中。记忆图为有向图节点是视觉聚类之后的GUI界面状态边代表子目标转换。完整流水线分为三部分子目标提取标注、记忆图构建、记忆检索。3.1 子目标提取与元数据标注轨迹分割使用大模型LLM对完整动作序列做分割切分为多条子目标片段。子目标是一个或者多个连续动作共同完成一个连贯子意图例如“打开搜索栏并提交搜索词”、“将选中商品加入购物车”。保留每个子目标片段第一张、最后一张截图作为视觉锚点丢弃中间帧起止截图已经可以代表检索需要的起始、结束状态。子目标元数据提取后的子目标g gg是结构化元组g s f r o m , s t o ; t e x t , e f f e c t , b e h a v i o u r , s u c c e s s o r , s u c c e s s g\left s^{from},\ s^{to};\ text,\ effect,\ behaviour,\ successor,\ success \rightg⟨sfrom,sto;text,effect,behaviour,successor,success⟩字段说明s f r o m s^{from}sfrom子目标起始截图s t o s^{to}sto子目标结束截图视觉锚点text子目标意图自然语言摘要effect一句话描述从起始到结束截图发生的视觉变化behaviour底层动作序列的行为模式简要总结success{yes / no / uncertain}由LLM裁判给出子目标级成功标签3.2 记忆图构建输入标注完成的子目标集合构建可持久化、支持查询的记忆图。目标当智能体遇到曾经见过的界面状态可以检索从该状态出发尝试过哪些子目标、是否成功、对应的行为模式。构建三步流程环境状态合并对子目标起止截图计算图像嵌入和记忆图已有节点做余弦相似度比对。设定视觉相似度阈值τ \tauτ若和最近节点余弦相似度≥ τ \ge \tau≥τ则该截图归入这个已有节点否则新建记忆节点。每个节点保存原始截图同时维护滚动平均嵌入向量用于后续匹配。添加子目标有向边状态合并完成后每一条子目标转换成为一条有向边从源记忆节点指向目标记忆节点。边完整保存子目标全部元数据意图、视觉效果、成功标签、行为模式。图会同时保存同一个状态出发的成功、失败尝试检索时可以同时给到智能体既模仿成功经验也规避历史失败模式。构建阶段去重随着不断新增轨迹为保持图规模紧凑对同一个源节点下输出边做去重。两条边满足目标节点相同、成功标签相同、意图文本嵌入余弦相似度≥ θ \ge \theta≥θ判定为重复丢弃后加入的重复边。目标节点、结果、意图任意一项不同则保留为独立证据。3.3 记忆检索每一轮决策步骤触发检索将当前截图s q s_qsq做嵌入与记忆图全部节点的嵌入计算余弦相似度选出top(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))k最邻近记忆节点取出检索到节点的全部输出子目标边成功、失败子目标均返回每条附带结果标签将检索得到的多条子目标格式化为记忆块追加到智能体提示上下文供模型参考。4 实验设置实验环境与数据集测试基准SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench英文单应用level(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))3难度子集排除无法在云Android实例运行的App剩余13条任务样本运行环境云Android实例通过ADB接口控制基座大模型Qwen3(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))VL(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))8B(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Instruct嵌入模型Qwen3(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))VL(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Embedding(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))8B图像、文本嵌入均使用该模型超参数视觉相似度阈值τ 0.9 \tau0.9τ0.9文本相似度阈值θ 0.9 \theta0.9θ0.9每步检索top(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))KaTeX parse error: Cant use function \( in math mode at position 1: \̲(̲k1\)个记忆节点开销记忆图构建消耗4GPU小时单次检索额外时延约0.5秒。对比方案None无记忆基线Subgoal(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Flat子目标粒度扁平存储不构建图结构Action(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph单步动作粒度构建图记忆Task(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph完整任务轨迹粒度构建图记忆Subgoal(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph(Ours)本文子目标感知记忆图。评测指标任务尝试成功率SR每组实验独立运行三次取平均值。5 实验结果记忆方案存储结构成功率 SR (%)None(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))34.19Subgoal(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Flat扁平存储30.77Action(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph图结构38.46Task(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph图结构36.75Subgoal (Ours)图结构45.30实验关键结论本文子目标感知记忆图相比无记忆基线任务成功率提升11.11个百分点同为子目标粒度如果去掉图结构使用扁平存储性能反而下降到30.77%证明图结构对视觉状态合并、跨轨迹经验融合起到关键作用单步动作粒度图记忆、完整任务轨迹粒度图记忆仅有小幅收益效果弱于本文子目标(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))图组合方案。6 结论与局限性结论本文提出面向移动端GUI智能体的子目标感知记忆图。核心思想既不存储原始单步动作也不存储完整整条轨迹而是采用子目标作为经验存储粒度。将视觉相近的界面状态合并为记忆节点子目标作为有向边连接节点同时记录成功与失败的历史尝试推理阶段检索子目标经验作为提示补充。在SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench上取得11.11%的成功率提升。该记忆框架为移动端交互智能体提供一套简单实用的经验复用方案。局限性本方法假设GUI界面可以近似为离散状态空间截图可以聚类为紧凑记忆节点集合。该假设对于布局相对稳定的普通移动端App比较合理但对于视频播放器这类高度动态界面界面持续连续变化视觉相似度不能很好等价语义等价本方案效果会受到噪声影响。7 参考文献完整参考文献请查阅arXiv原始PDF。
子目标感知记忆图面向GUI智能体的记忆框架原文网页https://arxiv.org/html/2610.31307v1PDF链接https://arxiv.org/pdf/2610.31307v1arXiv编号arXiv:2610.31307v1 [cs.AI]摘要GUI智能体通过与移动端图形界面交互完成复杂用户任务。在长视界任务场景下仅依靠环境观测不足以做出有效决策需要复用过往交互经验。现有记忆方案一般将经验存储在单步动作粒度或者完整轨迹粒度。单步动作粒度过细很难承载有意义语义单个动作成功并不代表任务整体取得进展完整轨迹粒度过粗很难跨不同任务复用。本文提出子目标感知记忆图Subgoal(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))aware Memory Graph将历史交互轨迹提炼为子目标粒度的可复用结构化经验。子目标定义为具备统一子意图的连续动作序列该粒度可以有效衡量任务推进进度。为降低冗余、支持跨任务复用将子目标经验组织为图结构记忆基于环境观测对相关记忆执行合并、扩展、检索。在SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench基准上该方法相比无记忆基线任务成功率提升11.11个百分点。关键词GUI智能体子目标记忆图长视界智能体移动端智能体经验复用目录引言相关工作子目标感知记忆图方法3.1 子目标提取与元数据标注3.2 记忆图构建3.3 记忆检索流程实验设置实验结果结论与局限性参考文献1 引言GUI智能体与网页、手机App界面交互完成下单购物、设置闹钟、配置系统等复杂任务。SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench这类基准中单条任务往往需要跨多个屏幕执行30次以上GUI动作。长视界场景中大量子目标会在不同任务、不同App之间反复出现如果不能复用历史经验智能体每一次都要从零开始探索相同工作流。为解决该问题常见方案为给智能体增加情景记忆推理阶段可以查询历史经验。但现有记忆机制存在两种粒度的缺陷单步动作粒度存储观测、动作、结果三元组。单步点击、滑动的局部成功无法反映整体任务是否取得进展记忆库会快速累积大量冗余条目难以提炼可复用结构。完整轨迹粒度存储整条任务交互episode。完整轨迹绑定特定任务路径即便多个任务共享中间步骤也很难跨任务复用。本文选取中间抽象粒度——子目标子目标是具备连贯子意图的连续动作序列能够反映任务推进进度。同一个子目标既可以执行成功也可以执行失败该信息在单步动作粒度下不可见同时子目标天然支持跨任务迁移大量不同任务会复用相同子目标。本工作将历史交互轨迹处理为子目标链构建子目标感知记忆图子目标由起止界面截图作为视觉锚点附带子目标描述、执行效果、行为模式、成功标签将视觉相似的界面状态合并为图节点子目标作为连接节点的有向边新轨迹可以增量并入记忆图推理时根据当前屏幕检索相关子目标作为提示的一部分给到GUI智能体。本文主要贡献提出子目标这一中间抽象粒度弥补单步动作、完整轨迹两种记忆粒度的缺陷设计子目标感知记忆图视觉相似界面状态合并为节点子目标作为有向边同时保存成功、失败两类历史尝试在SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench移动端GUI基准基于Qwen3(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))VL(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))8B(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Instruct基座相比无记忆基线任务成功率提升11.11个百分点。2 相关工作2.1 GUI智能体GUI智能体接收自然语言目标执行点击、滑动、输入文本等操作操控手机。一类路线对视觉(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))语言模型做微调得到端到端智能体但训练成本高另一类路线冻结大模型权重依靠外部工具、知识库补充能力本工作属于冻结LLM这一技术路线。AppAgent依靠人工为每个App维护知识库MobileAgent引入视觉感知工具预测动作。2.2 GUI智能体记忆机制GUIExplorer挖掘单步观测(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))动作(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))结果三元组单步单元缺少任务进度语义记忆库冗余高。HyMEM把整条轨迹嵌入构建图记忆EchoTrail(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))GUI检索完整成功episode作为上下文示例。二者均使用整条轨迹作为基本单元受限于特定任务路径跨任务复用能力弱。本文探索尚未被充分研究的子目标中间粒度记忆图节点为共享视觉状态而不是单条任务或者单步动作条目。3 子目标感知记忆图方法轨迹KaTeX parse error: Cant use function \( in math mode at position 31: …_1,a_1,...,a_{n\̲(̲\tau(s_0,a_0,s…s i s_isi代表GUI截图a i a_iai代表执行动作。给定轨迹集合T { τ 1 , . . . , τ m } T\{\tau_1,...,\tau_m\}T{τ1,...,τm}构建记忆图M MM。推理阶段输入当前截图s q s_qsq检索得到子目标级别的历史经验拼接到智能体提示词中。记忆图为有向图节点是视觉聚类之后的GUI界面状态边代表子目标转换。完整流水线分为三部分子目标提取标注、记忆图构建、记忆检索。3.1 子目标提取与元数据标注轨迹分割使用大模型LLM对完整动作序列做分割切分为多条子目标片段。子目标是一个或者多个连续动作共同完成一个连贯子意图例如“打开搜索栏并提交搜索词”、“将选中商品加入购物车”。保留每个子目标片段第一张、最后一张截图作为视觉锚点丢弃中间帧起止截图已经可以代表检索需要的起始、结束状态。子目标元数据提取后的子目标g gg是结构化元组g s f r o m , s t o ; t e x t , e f f e c t , b e h a v i o u r , s u c c e s s o r , s u c c e s s g\left s^{from},\ s^{to};\ text,\ effect,\ behaviour,\ successor,\ success \rightg⟨sfrom,sto;text,effect,behaviour,successor,success⟩字段说明s f r o m s^{from}sfrom子目标起始截图s t o s^{to}sto子目标结束截图视觉锚点text子目标意图自然语言摘要effect一句话描述从起始到结束截图发生的视觉变化behaviour底层动作序列的行为模式简要总结success{yes / no / uncertain}由LLM裁判给出子目标级成功标签3.2 记忆图构建输入标注完成的子目标集合构建可持久化、支持查询的记忆图。目标当智能体遇到曾经见过的界面状态可以检索从该状态出发尝试过哪些子目标、是否成功、对应的行为模式。构建三步流程环境状态合并对子目标起止截图计算图像嵌入和记忆图已有节点做余弦相似度比对。设定视觉相似度阈值τ \tauτ若和最近节点余弦相似度≥ τ \ge \tau≥τ则该截图归入这个已有节点否则新建记忆节点。每个节点保存原始截图同时维护滚动平均嵌入向量用于后续匹配。添加子目标有向边状态合并完成后每一条子目标转换成为一条有向边从源记忆节点指向目标记忆节点。边完整保存子目标全部元数据意图、视觉效果、成功标签、行为模式。图会同时保存同一个状态出发的成功、失败尝试检索时可以同时给到智能体既模仿成功经验也规避历史失败模式。构建阶段去重随着不断新增轨迹为保持图规模紧凑对同一个源节点下输出边做去重。两条边满足目标节点相同、成功标签相同、意图文本嵌入余弦相似度≥ θ \ge \theta≥θ判定为重复丢弃后加入的重复边。目标节点、结果、意图任意一项不同则保留为独立证据。3.3 记忆检索每一轮决策步骤触发检索将当前截图s q s_qsq做嵌入与记忆图全部节点的嵌入计算余弦相似度选出top(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))k最邻近记忆节点取出检索到节点的全部输出子目标边成功、失败子目标均返回每条附带结果标签将检索得到的多条子目标格式化为记忆块追加到智能体提示上下文供模型参考。4 实验设置实验环境与数据集测试基准SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench英文单应用level(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))3难度子集排除无法在云Android实例运行的App剩余13条任务样本运行环境云Android实例通过ADB接口控制基座大模型Qwen3(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))VL(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))8B(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Instruct嵌入模型Qwen3(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))VL(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Embedding(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))8B图像、文本嵌入均使用该模型超参数视觉相似度阈值τ 0.9 \tau0.9τ0.9文本相似度阈值θ 0.9 \theta0.9θ0.9每步检索top(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))KaTeX parse error: Cant use function \( in math mode at position 1: \̲(̲k1\)个记忆节点开销记忆图构建消耗4GPU小时单次检索额外时延约0.5秒。对比方案None无记忆基线Subgoal(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Flat子目标粒度扁平存储不构建图结构Action(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph单步动作粒度构建图记忆Task(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph完整任务轨迹粒度构建图记忆Subgoal(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph(Ours)本文子目标感知记忆图。评测指标任务尝试成功率SR每组实验独立运行三次取平均值。5 实验结果记忆方案存储结构成功率 SR (%)None(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))34.19Subgoal(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Flat扁平存储30.77Action(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph图结构38.46Task(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Graph图结构36.75Subgoal (Ours)图结构45.30实验关键结论本文子目标感知记忆图相比无记忆基线任务成功率提升11.11个百分点同为子目标粒度如果去掉图结构使用扁平存储性能反而下降到30.77%证明图结构对视觉状态合并、跨轨迹经验融合起到关键作用单步动作粒度图记忆、完整任务轨迹粒度图记忆仅有小幅收益效果弱于本文子目标(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))图组合方案。6 结论与局限性结论本文提出面向移动端GUI智能体的子目标感知记忆图。核心思想既不存储原始单步动作也不存储完整整条轨迹而是采用子目标作为经验存储粒度。将视觉相近的界面状态合并为记忆节点子目标作为有向边连接节点同时记录成功与失败的历史尝试推理阶段检索子目标经验作为提示补充。在SPA(\tau(s_0,a_0,s_1,a_1,…,a_{n‑1},s_n))Bench上取得11.11%的成功率提升。该记忆框架为移动端交互智能体提供一套简单实用的经验复用方案。局限性本方法假设GUI界面可以近似为离散状态空间截图可以聚类为紧凑记忆节点集合。该假设对于布局相对稳定的普通移动端App比较合理但对于视频播放器这类高度动态界面界面持续连续变化视觉相似度不能很好等价语义等价本方案效果会受到噪声影响。7 参考文献完整参考文献请查阅arXiv原始PDF。
