标题From Passive Retrieval to Active Memory Navigation: Learning to Use Memory as a Structured Action Space来源arXiv, 2607.05794v1️文章简介研究问题如何让智能体摆脱被动检索限制主动且精准地利用长期用户记忆主要贡献论文提出NapMem框架将长期记忆重构为结构化动作空间通过强化学习训练智能体主动导航多层级记忆金字塔。重点思路构建多粒度记忆金字塔自底向上包含原始对话、结构化记录、主题轨迹和用户画像四层并通过溯源关系相互链接形成可导航的结构化存储。设计五种专用记忆工具涵盖搜索、精确获取和文件读取功能将记忆访问转化为显式的序列化工具调用过程支持跨层级的双向导航。采用GRPO强化学习算法优化导航策略基于答案正确性、格式规范及工具使用合理性构建奖励函数训练智能体根据查询动态选择记忆层级并适时停止。实施增量式记忆构建机制新会话数据逐层向上传播更新确保底层证据变化能同步修正上层抽象摘要维持记忆的一致性与时效性。分析总结在三个记忆密集型基准测试中经RL训练的9B模型平均得分达62.74优于未训练的397B大模型及现有主流记忆系统证明主动导航策略比单纯扩大模型规模更有效。在非记忆任务评估中RL训练显著降低了不必要的记忆工具调用率同时保持了通用推理与工具使用能力表明该策略具有良好的泛化性且未引入副作用。消融实验证实主动导航、多层级结构和RL训练三者缺一不可仅靠被动检索或单一粒度记忆会导致性能大幅下降验证了结构化存储与学习策略耦合的必要性。效率分析显示尽管引入了多步工具调用但得益于精准的证据收集与及时终止机制NapMem的推理延迟和生成token数反而低于多数被动检索基线且存储开销更具优势。行为分析发现RL训练使智能体的工具调用更精简、证据命中率更高不同规模模型呈现差异化导航偏好大模型倾向从高层概览入手小模型则偏好从具体记录切入。个人观点论文将记忆从静态上下文转变为智能体可交互、可学习的动态动作空间通过RL端到端优化导航策略解决了何时查、查哪层、何时停的决策难题。
标题From Passive Retrieval to Active Memory Navigation: Learning to Use Memory as a Structured Action Space来源arXiv, 2607.05794v1️文章简介研究问题如何让智能体摆脱被动检索限制主动且精准地利用长期用户记忆主要贡献论文提出NapMem框架将长期记忆重构为结构化动作空间通过强化学习训练智能体主动导航多层级记忆金字塔。重点思路构建多粒度记忆金字塔自底向上包含原始对话、结构化记录、主题轨迹和用户画像四层并通过溯源关系相互链接形成可导航的结构化存储。设计五种专用记忆工具涵盖搜索、精确获取和文件读取功能将记忆访问转化为显式的序列化工具调用过程支持跨层级的双向导航。采用GRPO强化学习算法优化导航策略基于答案正确性、格式规范及工具使用合理性构建奖励函数训练智能体根据查询动态选择记忆层级并适时停止。实施增量式记忆构建机制新会话数据逐层向上传播更新确保底层证据变化能同步修正上层抽象摘要维持记忆的一致性与时效性。分析总结在三个记忆密集型基准测试中经RL训练的9B模型平均得分达62.74优于未训练的397B大模型及现有主流记忆系统证明主动导航策略比单纯扩大模型规模更有效。在非记忆任务评估中RL训练显著降低了不必要的记忆工具调用率同时保持了通用推理与工具使用能力表明该策略具有良好的泛化性且未引入副作用。消融实验证实主动导航、多层级结构和RL训练三者缺一不可仅靠被动检索或单一粒度记忆会导致性能大幅下降验证了结构化存储与学习策略耦合的必要性。效率分析显示尽管引入了多步工具调用但得益于精准的证据收集与及时终止机制NapMem的推理延迟和生成token数反而低于多数被动检索基线且存储开销更具优势。行为分析发现RL训练使智能体的工具调用更精简、证据命中率更高不同规模模型呈现差异化导航偏好大模型倾向从高层概览入手小模型则偏好从具体记录切入。个人观点论文将记忆从静态上下文转变为智能体可交互、可学习的动态动作空间通过RL端到端优化导航策略解决了何时查、查哪层、何时停的决策难题。
