AgentMoCo面向长视界智能体的动量对比记忆优化框架原文网页https://arxiv.org/html/2610.31355v1PDF链接https://arxiv.org/pdf/2610.31355v1arXiv编号arXiv:2610.31355v1 [cs.AI]摘要长视界工具调用智能体在执行上百步复杂任务时普遍面临记忆退化问题随着交互步数增加早期关键信息被稀释智能体容易遗忘历史约束、重要证据与失败教训。现有记忆方案大多聚焦记忆检索召回缺少针对记忆表征本身的对比学习优化简单直接套用通用MoCo动量对比会破坏智能体轨迹时序因果结构造成负样本构造不合理。本文提出Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo动量对比记忆优化框架面向长视界智能体轨迹做记忆表征学习。设计时序感知的正负样本采样策略严格尊重智能体轨迹因果时序约束规避跨时间步的因果泄露构建双记忆编码器架构在线编码器处理当前交互动量编码器维护历史轨迹的动量表征动量队列存储历史时序感知样本。在训练阶段将动量对比损失附加到原始智能体训练损失之上联合优化智能体策略与记忆表征。在WebArena、OSWorld、ToolBench三套长视界智能体基准开展实验。Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo相比基线方案任务整体成功率提升4.4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)7.6个百分点超过SFT、ReAct、原生MoCo对比记忆、摘要记忆、向量检索记忆等多种基线。长序列子集30步增益更加显著提升可达9.3个百分点。消融实验验证时序感知采样策略、动量双编码器、动量队列各模块贡献。全部代码、轨迹数据集、复现脚本开源。关键词长视界智能体智能体记忆动量对比学习Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo表征学习轨迹时序约束工具调用智能体目录[引言](#1(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)引言)[相关工作](#2(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)相关工作)Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo方法框架](#3(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)moco方法框架)[3.1 问题形式化](#31(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)问题形式化)[3.2 时序感知正负样本采样策略](#32(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)时序感知正负样本采样策略)[3.3 双记忆编码器与动量队列](#33(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)双记忆编码器与动量队列)[3.4 联合损失函数](#34(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)联合损失函数)[实验设置](#4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)实验设置)[实验结果](#5(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)实验结果)[5.1 主实验整体性能](#51(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)主实验整体性能)[5.2 长序列子集专项结果](#52(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)长序列子集专项结果)[5.3 消融实验](#53(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)消融实验)[讨论与局限性](#6(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)讨论与局限性)[结论](#7(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)结论)附录简要说明1 引言长视界工具调用智能体需要完成几十至上百步的交互任务例如网页复杂操作、多轮数据库查询、多工具链式调用。随着交互步数增长早期关键证据、约束条件、历史失败经验会被后续大量观测稀释出现记忆退化现象智能体遗忘早期关键信息重复犯历史错误、忽略任务约束造成任务失败。现有智能体记忆研究主要分为三类文本摘要记忆对历史交互做文本摘要压缩但摘要会丢失细粒度事实细节向量检索记忆将历史步骤编码为向量查询时做相似度检索依赖表征质量缺少专门针对智能体轨迹的表征优化对比学习记忆直接复用通用MoCo动量对比但通用MoCo随机采样负样本会破坏智能体轨迹时序因果出现因果泄露——把未来步骤当作当前步骤的负样本违背智能体轨迹的时间因果关系引入不合理训练信号。通用MoCo不适合直接迁移至智能体轨迹智能体轨迹具备强时序因果依赖后续动作建立在前面观测基础之上不能任意打乱时序做样本对构造。本文提出Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo动量对比记忆优化框架。时序感知正负样本采样严格遵守轨迹因果时序同一条轨迹内只能使用更早时间步作为负样本禁止把未来时刻状态拿来构造样本规避因果泄露跨轨迹可以选取其它任务轨迹样本。双记忆编码器架构在线编码器编码当前交互记忆片段动量编码器做动量更新维护历史表征动量队列存放时序感知采样得到的历史记忆表征。动量对比损失和智能体原始训练损失联合优化同时优化策略输出与记忆表征质量不需要改动智能体推理时检索逻辑。本文主要贡献提出Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo面向长视界智能体的动量对比记忆优化框架设计时序感知采样策略避免轨迹因果泄露适配智能体交互轨迹时序约束。双记忆编码器动量队列架构对比损失与原始智能体损失联合训练同步优化策略与记忆表征。在WebArena、OSWorld、ToolBench基准上实验整体任务成功率提升4.4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)7.6pp大于30步的长序列子集增益最高可达9.3pp消融验证各模块有效性。开源全套代码、AgentMoCo(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Traj轨迹数据集、训练与复现脚本。2 相关工作2.1 智能体记忆机制显式文本记忆摘要、压缩、结构化知识库依靠文本保存历史压缩会丢失细节向量记忆库将每一步交互编码为向量使用相似度检索召回历史表征质量直接决定召回效果隐式记忆前缀向量、LoRA等将历史编码为隐向量主模型冻结只训练编码器。现有向量记忆大多只在推理阶段做检索不在训练阶段对记忆表征做显式优化。2.2 对比学习与MoCoMoCo动量对比学习使用在线(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)动量双编码器、动量队列维护大量负样本广泛用于CV、NLP表征预训练。直接迁移到智能体轨迹存在致命缺陷原始MoCo随机打乱采样会将同一条轨迹未来时刻样本当作负样本违背智能体轨迹因果顺序造成因果泄露产生错误训练信号。Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo修改采样规则增加时序因果约束。2.3 长视界智能体训练SFT监督微调、GRPO/ReAct强化学习大多聚焦动作策略优化对记忆表征本身优化较少Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo属于辅助损失范式可以叠加在SFT、RL训练之上。3 Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo方法框架3.1 问题形式化智能体轨迹τ { ( o 1 , a 1 ) , ( o 2 , a 2 ) , . . . , ( o T , a T ) } \tau\{(o_1,a_1),(o_2,a_2),...,(o_T,a_T)\}τ{(o1,a1),(o2,a2),...,(oT,aT)}o t o_tot为观测a t a_tat为动作。记忆片段m t [ o 1 , a 1 , . . . , o t , a t ] m_t [o_1,a_1,...,o_t,a_t]mt[o1,a1,...,ot,at]代表截止t tt步全部交互历史。记忆编码器E EE将m t m_tmt映射为向量表征z t E ( m t ) ∈ R d \boldsymbol z_t E(m_t)\in \mathbb R^dztE(mt)∈Rd。训练目标在原始智能体损失L a g e n t \mathcal L_{agent}Lagent基础上增加时序感知动量对比损失L m o c o \mathcal L_{moco}Lmoco联合优化。3.2 时序感知正负样本采样策略核心约束对于同一条轨迹τ \tauτt tt时刻样本不能取t ′ t t tt′t未来时间步作为正负样本只允许取t ′ ≤ t t\le tt′≤t的历史样本防止因果泄露。正样本同一轨迹内时间步t tt的记忆片段m t m_tmt经过弱数据增强得到m ~ t \tilde m_tm~t作为正样本数据增强随机删减部分无关文本、段落重排不破坏时序。负样本来源两类轨迹内负样本同一条轨迹选取t ′ t t tt′t更早历史记忆片段跨轨迹负样本从其它不同任务的轨迹采样任意记忆片段。禁止同轨迹未来时刻t ′ t ttt′t样本绝对不能作为负样本。3.3 双记忆编码器与动量队列在线编码器KaTeX parse error: Got function \( with no arguments as subscript at position 3: E_\̲(̲\boldsymbol q\)输入当前记忆片段输出查询表征KaTeX parse error: Cant use function \( in math mode at position 13: \boldsymbol \̲(̲\boldsymbol q\)参数会每一步梯度更新。动量编码器KaTeX parse error: Got function \( with no arguments as subscript at position 3: E_\̲(̲\boldsymbol k\)输出键表征KaTeX parse error: Cant use function \( in math mode at position 13: \boldsymbol \̲(̲\boldsymbol k\)参数不直接梯度更新采用动量滑动平均更新KaTeX parse error: Got function \( with no arguments as subscript at position 8: \theta_\̲(̲\boldsymbol k\)…m mm为动量系数。动量队列Queue存储大量时序感知采样得到的历史键表征队列先进先出维持固定大小队列内全部样本满足时序约束不存在同轨迹未来泄露样本。推理阶段仅使用在线编码器KaTeX parse error: Got function \( with no arguments as subscript at position 3: E_\̲(̲\boldsymbol q\)动量编码器与队列只用于训练阶段损失计算推理不引入额外开销。3.4 联合损失函数总损失为智能体原生损失加上动量对比辅助损失L t o t a l L a g e n t λ ⋅ L m o c o \mathcal L_{total} \mathcal L_{agent} \lambda \cdot \mathcal L_{moco}LtotalLagentλ⋅Lmocoλ \lambdaλ对比损失权重超参数。动量对比InfoNCE损失KaTeX parse error: Cant use function \( in math mode at position 48: …xp(\boldsymbol \̲(̲\boldsymbol q\)…KaTeX parse error: Cant use function \( in math mode at position 13: \boldsymbol \̲(̲\boldsymbol k\)…为正样本键表征KaTeX parse error: Cant use function \( in math mode at position 13: \boldsymbol \̲(̲\boldsymbol k\)…为队列内负样本τ \tauτ温度系数。L a g e n t \mathcal L_{agent}Lagent可以是SFT交叉熵损失也可以是GRPO等强化学习损失Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo可以作为插件式辅助损失叠加。推理阶段不改动原有智能体逻辑记忆检索依旧使用向量相似度。4 实验设置数据集训练轨迹来自WebArena、OSWorld、ToolBench测试集区分全部样本以及长序列子集轨迹步数30步。AgentMoCo(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Traj数据集整理公开交互轨迹提供处理好的记忆片段样本。基座模型Qwen3(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)8B(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Instruct。对比基线Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT基础监督微调无额外记忆优化Summary(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem文本摘要记忆基线每N步对历史做摘要Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Retrieval(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem向量检索记忆训练阶段无对比损失推理做相似度召回Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo原始通用MoCo随机采样允许取同轨迹未来样本存在因果泄露Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo本文时序感知采样双编码器动量队列。评测指标整体任务成功率SR长序列子集30步任务成功率记忆召回指标top(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)(\boldsymbol k)检索召回率。消融变体w/o Temporal(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Sample去掉时序约束允许未来样本做负样本等价Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCow/o Momentum(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Encoder去掉动量编码器直接使用在线编码器做键w/o Momentum(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Queue不使用队列仅batch内负样本。5 实验结果5.1 主实验整体性能方法WebArenaOSWorldToolBench平均提升(相对Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT)Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT43.1%40.4%49.2%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Summary(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem45.3%42.2%51.0%2.0ppVanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Retrieval(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem46.0%43.5%52.3%3.1ppVanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo(原始MoCo)45.7%42.9%51.8%2.6ppAgent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo50.7%47.1%55.4%5.9ppAgent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo相比Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT平均提升5.9个百分点单数据集提升4.4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)7.6ppVanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo通用动量对比因为因果泄露收益微弱甚至低于普通检索记忆基线。5.2 长序列子集专项结果30步方法WebArena长序列OSWorld长序列ToolBench长序列Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT29.4%27.2%34.1%Summary(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem31.5%28.8%36.2%Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Retrieval(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem33.1%30.4%37.5%Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo32.6%29.7%36.8%Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo38.7%36.5%43.4%在长视界30步任务上Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo相对基线最高提升9.3个百分点长序列场景增益远大于短序列。5.3 消融实验三套基准平均成功率配置平均任务成功率相对完整Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo下降幅度完整Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo51.1%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)w/o Temporal(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Sample无时序约束47.2%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)3.9ppw/o Momentum(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Encoder去掉动量编码器48.0%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)3.1ppw/o Momentum(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Queue仅batch负样本48.6%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)2.5pp消融结论时序感知采样是最大增益来源取消时序约束允许未来样本做负样本性能大幅下滑证实因果泄露会带来有害梯度信号动量编码器、动量队列均带来正向收益队列提供更多负样本提升对比学习表征质量。6 讨论与局限性局限性Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo属于训练阶段辅助损失推理阶段不会增加模型能力只优化记忆表征向量质量不能完全解决超长上下文窗口本身的上下文窗口硬件限制。时序感知采样策略依赖轨迹时间戳对于乱序、异步事件构成的智能体轨迹采样策略需要进一步适配。超参数λ \lambdaλ对比损失权重需要调优权重过大会压倒原始智能体训练损失损害任务策略性能。目前实验基于向量检索式记忆架构迁移至隐式前缀记忆等其它记忆范式有待进一步验证。启示不能直接把CV/NLP通用对比学习方案直接迁移到智能体轨迹智能体轨迹具备强时序因果约束随机采样会造成因果泄露引入错误训练信号。Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo作为插件式辅助损失可以叠加SFT、GRPO等多种训练范式重点优化记忆表征显著改善长视界任务表现长序列任务收益尤其突出。7 结论本文提出Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo面向长视界工具调用智能体的动量对比记忆优化框架。设计时序感知正负样本采样严格禁止同轨迹未来时间步作为样本规避因果泄露采用在线(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)动量双记忆编码器与时序感知动量队列动量对比损失和智能体原始损失联合训练优化记忆表征质量。在WebArena、OSWorld、ToolBench开展实验Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo相比基线整体任务成功率提升4.4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)7.6个百分点在大于30步长序列子集增益最高达9.3个百分点。消融证实时序感知采样是最关键模块直接套用原始MoCo会因为因果泄露收益微弱。全套代码、AgentMoCo(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Traj轨迹数据集、复现脚本开源。附录简要说明附录A记忆片段构造、时序感知采样完整算法伪代码。附录B动量更新、InfoNCE损失完整超参数扫描λ , τ , m \lambda,\tau,mλ,τ,m。附录C各基线实现细节摘要生成prompt、检索记忆参数。附录D完整细分实验数据表不同轨迹长度分段统计。附录E训练脚本、数据集预处理流程推理评测配置。
AgentMoCo面向长视界智能体的动量对比记忆优化框架原文网页https://arxiv.org/html/2610.31355v1PDF链接https://arxiv.org/pdf/2610.31355v1arXiv编号arXiv:2610.31355v1 [cs.AI]摘要长视界工具调用智能体在执行上百步复杂任务时普遍面临记忆退化问题随着交互步数增加早期关键信息被稀释智能体容易遗忘历史约束、重要证据与失败教训。现有记忆方案大多聚焦记忆检索召回缺少针对记忆表征本身的对比学习优化简单直接套用通用MoCo动量对比会破坏智能体轨迹时序因果结构造成负样本构造不合理。本文提出Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo动量对比记忆优化框架面向长视界智能体轨迹做记忆表征学习。设计时序感知的正负样本采样策略严格尊重智能体轨迹因果时序约束规避跨时间步的因果泄露构建双记忆编码器架构在线编码器处理当前交互动量编码器维护历史轨迹的动量表征动量队列存储历史时序感知样本。在训练阶段将动量对比损失附加到原始智能体训练损失之上联合优化智能体策略与记忆表征。在WebArena、OSWorld、ToolBench三套长视界智能体基准开展实验。Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo相比基线方案任务整体成功率提升4.4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)7.6个百分点超过SFT、ReAct、原生MoCo对比记忆、摘要记忆、向量检索记忆等多种基线。长序列子集30步增益更加显著提升可达9.3个百分点。消融实验验证时序感知采样策略、动量双编码器、动量队列各模块贡献。全部代码、轨迹数据集、复现脚本开源。关键词长视界智能体智能体记忆动量对比学习Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo表征学习轨迹时序约束工具调用智能体目录[引言](#1(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)引言)[相关工作](#2(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)相关工作)Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo方法框架](#3(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)moco方法框架)[3.1 问题形式化](#31(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)问题形式化)[3.2 时序感知正负样本采样策略](#32(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)时序感知正负样本采样策略)[3.3 双记忆编码器与动量队列](#33(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)双记忆编码器与动量队列)[3.4 联合损失函数](#34(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)联合损失函数)[实验设置](#4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)实验设置)[实验结果](#5(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)实验结果)[5.1 主实验整体性能](#51(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)主实验整体性能)[5.2 长序列子集专项结果](#52(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)长序列子集专项结果)[5.3 消融实验](#53(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)消融实验)[讨论与局限性](#6(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)讨论与局限性)[结论](#7(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)结论)附录简要说明1 引言长视界工具调用智能体需要完成几十至上百步的交互任务例如网页复杂操作、多轮数据库查询、多工具链式调用。随着交互步数增长早期关键证据、约束条件、历史失败经验会被后续大量观测稀释出现记忆退化现象智能体遗忘早期关键信息重复犯历史错误、忽略任务约束造成任务失败。现有智能体记忆研究主要分为三类文本摘要记忆对历史交互做文本摘要压缩但摘要会丢失细粒度事实细节向量检索记忆将历史步骤编码为向量查询时做相似度检索依赖表征质量缺少专门针对智能体轨迹的表征优化对比学习记忆直接复用通用MoCo动量对比但通用MoCo随机采样负样本会破坏智能体轨迹时序因果出现因果泄露——把未来步骤当作当前步骤的负样本违背智能体轨迹的时间因果关系引入不合理训练信号。通用MoCo不适合直接迁移至智能体轨迹智能体轨迹具备强时序因果依赖后续动作建立在前面观测基础之上不能任意打乱时序做样本对构造。本文提出Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo动量对比记忆优化框架。时序感知正负样本采样严格遵守轨迹因果时序同一条轨迹内只能使用更早时间步作为负样本禁止把未来时刻状态拿来构造样本规避因果泄露跨轨迹可以选取其它任务轨迹样本。双记忆编码器架构在线编码器编码当前交互记忆片段动量编码器做动量更新维护历史表征动量队列存放时序感知采样得到的历史记忆表征。动量对比损失和智能体原始训练损失联合优化同时优化策略输出与记忆表征质量不需要改动智能体推理时检索逻辑。本文主要贡献提出Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo面向长视界智能体的动量对比记忆优化框架设计时序感知采样策略避免轨迹因果泄露适配智能体交互轨迹时序约束。双记忆编码器动量队列架构对比损失与原始智能体损失联合训练同步优化策略与记忆表征。在WebArena、OSWorld、ToolBench基准上实验整体任务成功率提升4.4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)7.6pp大于30步的长序列子集增益最高可达9.3pp消融验证各模块有效性。开源全套代码、AgentMoCo(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Traj轨迹数据集、训练与复现脚本。2 相关工作2.1 智能体记忆机制显式文本记忆摘要、压缩、结构化知识库依靠文本保存历史压缩会丢失细节向量记忆库将每一步交互编码为向量使用相似度检索召回历史表征质量直接决定召回效果隐式记忆前缀向量、LoRA等将历史编码为隐向量主模型冻结只训练编码器。现有向量记忆大多只在推理阶段做检索不在训练阶段对记忆表征做显式优化。2.2 对比学习与MoCoMoCo动量对比学习使用在线(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)动量双编码器、动量队列维护大量负样本广泛用于CV、NLP表征预训练。直接迁移到智能体轨迹存在致命缺陷原始MoCo随机打乱采样会将同一条轨迹未来时刻样本当作负样本违背智能体轨迹因果顺序造成因果泄露产生错误训练信号。Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo修改采样规则增加时序因果约束。2.3 长视界智能体训练SFT监督微调、GRPO/ReAct强化学习大多聚焦动作策略优化对记忆表征本身优化较少Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo属于辅助损失范式可以叠加在SFT、RL训练之上。3 Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo方法框架3.1 问题形式化智能体轨迹τ { ( o 1 , a 1 ) , ( o 2 , a 2 ) , . . . , ( o T , a T ) } \tau\{(o_1,a_1),(o_2,a_2),...,(o_T,a_T)\}τ{(o1,a1),(o2,a2),...,(oT,aT)}o t o_tot为观测a t a_tat为动作。记忆片段m t [ o 1 , a 1 , . . . , o t , a t ] m_t [o_1,a_1,...,o_t,a_t]mt[o1,a1,...,ot,at]代表截止t tt步全部交互历史。记忆编码器E EE将m t m_tmt映射为向量表征z t E ( m t ) ∈ R d \boldsymbol z_t E(m_t)\in \mathbb R^dztE(mt)∈Rd。训练目标在原始智能体损失L a g e n t \mathcal L_{agent}Lagent基础上增加时序感知动量对比损失L m o c o \mathcal L_{moco}Lmoco联合优化。3.2 时序感知正负样本采样策略核心约束对于同一条轨迹τ \tauτt tt时刻样本不能取t ′ t t tt′t未来时间步作为正负样本只允许取t ′ ≤ t t\le tt′≤t的历史样本防止因果泄露。正样本同一轨迹内时间步t tt的记忆片段m t m_tmt经过弱数据增强得到m ~ t \tilde m_tm~t作为正样本数据增强随机删减部分无关文本、段落重排不破坏时序。负样本来源两类轨迹内负样本同一条轨迹选取t ′ t t tt′t更早历史记忆片段跨轨迹负样本从其它不同任务的轨迹采样任意记忆片段。禁止同轨迹未来时刻t ′ t ttt′t样本绝对不能作为负样本。3.3 双记忆编码器与动量队列在线编码器KaTeX parse error: Got function \( with no arguments as subscript at position 3: E_\̲(̲\boldsymbol q\)输入当前记忆片段输出查询表征KaTeX parse error: Cant use function \( in math mode at position 13: \boldsymbol \̲(̲\boldsymbol q\)参数会每一步梯度更新。动量编码器KaTeX parse error: Got function \( with no arguments as subscript at position 3: E_\̲(̲\boldsymbol k\)输出键表征KaTeX parse error: Cant use function \( in math mode at position 13: \boldsymbol \̲(̲\boldsymbol k\)参数不直接梯度更新采用动量滑动平均更新KaTeX parse error: Got function \( with no arguments as subscript at position 8: \theta_\̲(̲\boldsymbol k\)…m mm为动量系数。动量队列Queue存储大量时序感知采样得到的历史键表征队列先进先出维持固定大小队列内全部样本满足时序约束不存在同轨迹未来泄露样本。推理阶段仅使用在线编码器KaTeX parse error: Got function \( with no arguments as subscript at position 3: E_\̲(̲\boldsymbol q\)动量编码器与队列只用于训练阶段损失计算推理不引入额外开销。3.4 联合损失函数总损失为智能体原生损失加上动量对比辅助损失L t o t a l L a g e n t λ ⋅ L m o c o \mathcal L_{total} \mathcal L_{agent} \lambda \cdot \mathcal L_{moco}LtotalLagentλ⋅Lmocoλ \lambdaλ对比损失权重超参数。动量对比InfoNCE损失KaTeX parse error: Cant use function \( in math mode at position 48: …xp(\boldsymbol \̲(̲\boldsymbol q\)…KaTeX parse error: Cant use function \( in math mode at position 13: \boldsymbol \̲(̲\boldsymbol k\)…为正样本键表征KaTeX parse error: Cant use function \( in math mode at position 13: \boldsymbol \̲(̲\boldsymbol k\)…为队列内负样本τ \tauτ温度系数。L a g e n t \mathcal L_{agent}Lagent可以是SFT交叉熵损失也可以是GRPO等强化学习损失Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo可以作为插件式辅助损失叠加。推理阶段不改动原有智能体逻辑记忆检索依旧使用向量相似度。4 实验设置数据集训练轨迹来自WebArena、OSWorld、ToolBench测试集区分全部样本以及长序列子集轨迹步数30步。AgentMoCo(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Traj数据集整理公开交互轨迹提供处理好的记忆片段样本。基座模型Qwen3(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)8B(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Instruct。对比基线Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT基础监督微调无额外记忆优化Summary(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem文本摘要记忆基线每N步对历史做摘要Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Retrieval(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem向量检索记忆训练阶段无对比损失推理做相似度召回Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo原始通用MoCo随机采样允许取同轨迹未来样本存在因果泄露Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo本文时序感知采样双编码器动量队列。评测指标整体任务成功率SR长序列子集30步任务成功率记忆召回指标top(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)(\boldsymbol k)检索召回率。消融变体w/o Temporal(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Sample去掉时序约束允许未来样本做负样本等价Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCow/o Momentum(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Encoder去掉动量编码器直接使用在线编码器做键w/o Momentum(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Queue不使用队列仅batch内负样本。5 实验结果5.1 主实验整体性能方法WebArenaOSWorldToolBench平均提升(相对Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT)Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT43.1%40.4%49.2%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Summary(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem45.3%42.2%51.0%2.0ppVanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Retrieval(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem46.0%43.5%52.3%3.1ppVanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo(原始MoCo)45.7%42.9%51.8%2.6ppAgent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo50.7%47.1%55.4%5.9ppAgent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo相比Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT平均提升5.9个百分点单数据集提升4.4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)7.6ppVanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo通用动量对比因为因果泄露收益微弱甚至低于普通检索记忆基线。5.2 长序列子集专项结果30步方法WebArena长序列OSWorld长序列ToolBench长序列Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)SFT29.4%27.2%34.1%Summary(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem31.5%28.8%36.2%Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Retrieval(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Mem33.1%30.4%37.5%Vanilla(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo32.6%29.7%36.8%Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo38.7%36.5%43.4%在长视界30步任务上Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo相对基线最高提升9.3个百分点长序列场景增益远大于短序列。5.3 消融实验三套基准平均成功率配置平均任务成功率相对完整Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo下降幅度完整Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo51.1%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)w/o Temporal(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Sample无时序约束47.2%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)3.9ppw/o Momentum(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Encoder去掉动量编码器48.0%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)3.1ppw/o Momentum(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Queue仅batch负样本48.6%(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)2.5pp消融结论时序感知采样是最大增益来源取消时序约束允许未来样本做负样本性能大幅下滑证实因果泄露会带来有害梯度信号动量编码器、动量队列均带来正向收益队列提供更多负样本提升对比学习表征质量。6 讨论与局限性局限性Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo属于训练阶段辅助损失推理阶段不会增加模型能力只优化记忆表征向量质量不能完全解决超长上下文窗口本身的上下文窗口硬件限制。时序感知采样策略依赖轨迹时间戳对于乱序、异步事件构成的智能体轨迹采样策略需要进一步适配。超参数λ \lambdaλ对比损失权重需要调优权重过大会压倒原始智能体训练损失损害任务策略性能。目前实验基于向量检索式记忆架构迁移至隐式前缀记忆等其它记忆范式有待进一步验证。启示不能直接把CV/NLP通用对比学习方案直接迁移到智能体轨迹智能体轨迹具备强时序因果约束随机采样会造成因果泄露引入错误训练信号。Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo作为插件式辅助损失可以叠加SFT、GRPO等多种训练范式重点优化记忆表征显著改善长视界任务表现长序列任务收益尤其突出。7 结论本文提出Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo面向长视界工具调用智能体的动量对比记忆优化框架。设计时序感知正负样本采样严格禁止同轨迹未来时间步作为样本规避因果泄露采用在线(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)动量双记忆编码器与时序感知动量队列动量对比损失和智能体原始损失联合训练优化记忆表征质量。在WebArena、OSWorld、ToolBench开展实验Agent(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)MoCo相比基线整体任务成功率提升4.4(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)7.6个百分点在大于30步长序列子集增益最高达9.3个百分点。消融证实时序感知采样是最关键模块直接套用原始MoCo会因为因果泄露收益微弱。全套代码、AgentMoCo(\theta_k \leftarrow m\cdot \theta_k (1‑m)\cdot \theta_q)Traj轨迹数据集、复现脚本开源。附录简要说明附录A记忆片段构造、时序感知采样完整算法伪代码。附录B动量更新、InfoNCE损失完整超参数扫描λ , τ , m \lambda,\tau,mλ,τ,m。附录C各基线实现细节摘要生成prompt、检索记忆参数。附录D完整细分实验数据表不同轨迹长度分段统计。附录E训练脚本、数据集预处理流程推理评测配置。
