长程 Agent 这个词在 ICLR、ICML 2026 的投稿列表里出现得越来越密集。不是偶然——过去一年里凡是用大模型搭过 Agent 的人几乎都会撞上同一堵墙任务一旦拉长上下文就开始失控。不管是做深度调研、自动化运维、软件工程还是让 Agent 自己跑科研实验前 10 分钟看着聪明跑上几小时就开始丢三落四、反复犯错、甚至彻底跑偏。这篇博文就是把长程 Agent 上下文管理这条线拆开讲清楚为什么它成了顶会焦点主流解决路线有哪些我在实际项目里怎么落地以及从 ICLR/ICML 投稿流程角度看这类工作要过审稿人的关重点在哪。适合正在做 Agent 应用的工程师也适合正在准备 2026 投稿的研究生。1. 为什么长程 Agent 上下文管理成为 ICLR、ICML 2026 的焦点1.1 长程 Agent 正在从演示玩具走向实际任务这两年聊 Agent大家的印象还停留在问一句、答一句、调个 API。短程任务里上下文管理根本不是主要矛盾——prompt 写得清楚工具定义得正确效果就差不到哪去。真正把人折磨疯的是长程任务让 Agent 做一个完整的产品调研跑一个自动化运维流程或者连续几天盯一条数据分析流水线。这类任务通常要执行几十步甚至上百步横跨多个数据源和工具中间还会出现各种异常需要回退、重试、调整计划。一旦任务拉长Agent 就需要在很长的时间跨度里持续记住用户目标、已经得出的中间结论、当前进行到哪一步、哪些方案被证明不可行。这些信息要是丢了轻则重复劳动重则在错误方向上越走越远。我见过不少团队做 demo 效果惊艳一上真实长程任务就开始翻车原因几乎都是同一个上下文管理没做好模型的聪明完全发挥不出来。长程 Agent 这个词也因此在 ICLR、ICML 2026 的讨论里密集出现。它已经从边缘话题变成了研究主线之一因为它不再只是模型能力问题而是系统设计、记忆机制、推理效率的综合问题。1.2 长程任务对上下文管理的四个核心挑战要理解为什么大家都在做上下文管理得先看清长程任务带来的四个具体挑战。有限窗口与无限目标长程任务的描述、过程笔记、外部资料加起来很容易超过任何主流模型的上下文窗口。你没法把所有信息都塞进窗口必须决定哪些信息留下、哪些挪出去。早期信息遗忘Agent 在线执行不能像离线程序那样随时重新读全部历史。任务执行几十步之后用户最初埋下的关键约束经常会被遗忘最后交出来的结果跟需求对不上。推理成本与延迟每行动一步都要把上下文打包发给模型。上下文越长单步越贵、越慢。长程任务几百步起步成本会一路涨到不可接受。上下文污染旧计划、过时假设、失败的中间结果会持续干扰后续决策。比如 Agent 在第二步断言方案 A 可行执行到第二十步发现数据变了但如果旧结论还在上下文里它还是会倾向于沿用旧路线。这四个挑战不是孤立存在的。遗忘会导致重复执行重复执行制造更多冗余记录冗余记录加剧污染污染又导致更多遗忘。这也解释了为什么单纯增大上下文窗口解决不了问题——你把窗口加得再大也只是把所有垃圾一起装进来。顶会里出现的大量上下文管理方案本质上都是想切断这个恶性循环。1.3 审稿视角长程 Agent 评估正在标准化还有一个趋势值得注意。前两年长程 Agent 的工作喜欢用一个笼统的最终成功率来证明自己。但现在评估维度明显细化了大家开始拆开看导航效率、记忆准确性、异常恢复能力、token 开销等指标。按这个趋势ICLR、ICML 2026 的审稿人对上下文管理工作的要求会更高你不能只说我效果好你得说清楚你的方法在什么条件下有效、什么条件下失效、比哪些基线强在哪。这其实对踏实做工程的人更有利因为很多值得写的问题就是从真实长程任务里冒出来的。2. 主流解决路线长程上下文管理的四类技术方案说到上下文管理很多人的第一反应是把上下文窗口换得更大一点。这个思路不算错但远不够。从近两年顶会讨论和实际工程实践看真正在用的方案大体可以分成四类检索式记忆、压缩与提炼、结构化记忆、上下文调度与注意力优化。四类方案各有适用场景我在项目里几乎都是混着用下面一个一个拆开说。2.1 检索式记忆把上下文搬出窗口需要时再取回检索式记忆的思路非常直白不把所有历史都放在上下文里而是把历史记录落到外部存储中比如向量数据库、文档索引或者缓存服务。Agent 每执行一步或几步根据当前目标和执行状态检索出最相关的历史片段放回上下文。这个路线的核心工程点有两个。第一是切分。历史记录不能简单地按固定长度切块最好按事件、按步骤、按决策点来切。例如一次工具调用、一段用户反馈、一条失败记录各自应该是一个完整的检索单元。如果切得太碎信息会被拦腰截断切得太粗又会把互不相干的内容绑在一起。第二是召回质量。纯向量检索在很多场景下并不够用尤其是同时存在数字、专有名词和长句时语义相似度不一定能反映真正的相关性。实际工程里我通常会叠加一层重排序模型或者加上关键词检索做混合召回。优点是实现简单跟具体模型解耦随便换个底座都能用。缺点是检索出的片段如果和当前状态弱相关会引入噪音甚至把决策带偏。所以检索式记忆并不是召回多少放多少召回之后还要做一道相关性过滤这本身就是一个可以打磨的小研究点。2.2 压缩与提炼把历史变成高密度摘要另一条思路是主动遗忘细节只保留高密度摘要。原始对话可能有上万 token但浓缩之后可能只有几百 token 的任务快照。Agent 平时只看摘要遇到需要细节的时刻再回头查原始记录。实现上有两种常见做法。一是增量摘要每当上下文长度超过预设阈值就调用一次模型把已有内容浓缩成新摘要后续新内容再追加到这个摘要之上。二是分层摘要按时间或阶段维护多个层级的摘要——顶层是总体目标中层是阶段结论底层才是原始记录。需要回顾时优先从顶层读拿不准再往下一层翻。摘要路线的省 token 效果非常明显但代价是信息损失。尤其是数字、精确时间、人名这类细节压缩时最容易丢。我在这类系统里有一个原则摘要里必须保留可追溯指针比如步骤 18 得出结论产品 A 的续费模型跑通详见事件日志 #18。这样一来即使摘要丢了细节Agent 也知道去哪里找回原文而不是靠猜。2.3 结构化记忆让 Agent 记住关系而不是文本如果任务本身有很强的实体关系比如做行业研究、管理设备清单、分析多个利益相关方的往来那把记忆组织成知识图谱或事件表往往比让模型在平铺文本里找答案更稳。结构化记忆的做法是每执行完一步抽取关键实体和关系写入图结构或者结构化表需要推理时通过查询获取相关子图。例如要回答项目 A 影响了哪些下游系统直接查边比让模型从一大段文本里逐字找要可靠得多。这类方案的优点是支持多跳推理而且不会因为历史太长而遗忘早期建立的关系。缺点是抽取、入库、更新都要额外成本图结构还要跟任务对齐。我见过一些团队把图谱设计得特别复杂结果查询写起来痛苦数据还经常不一致——图谱是为任务服务的不是为好看服务的。2.4 上下文调度与注意力优化从模型层面降本增效第四类工作不改变记忆的外在形式而是优化上下文的使用方式。常见手段包括滑动窗口、稀疏注意力、KV Cache 管理、上下文切换等。比如长程 Agent 执行时把注意力局部化到最近的相关内容而不是每一步都从头到尾扫一遍全部历史。这类方法见效与否跟模型和推理基础设施关系很大。很多优化是框架层的如果你是应用层开发者能直接借力的地方有限但理解它有助于做方案选型。如果你的场景对单步延迟特别敏感那么把精力投在 KV Cache 优化和分层调度上可能比单纯做检索或摘要收益更大。我不建议普通团队自己从零去搞注意力优化除非你有专门的推理优化背景否则性价比太低了。3. 实操如何给长程 Agent 设计一套可落地的上下文管理方案前面讲的是路线这一节讲落地。我给真实项目做上下文管理时基本会按四步走明确记忆生命周期、搭建分层记忆框架、调检索策略、治理成本和延迟。最后再给一个最小可复现的配置示例方便直接拿去改。3.1 第一步明确记忆生命周期我接到长程任务项目第一步从来不写代码而是先把记忆的层次画出来。大多数场景只需要三层。瞬时上下文当前这一步的输入输出、最近一次工具调用返回的结果。用完即扔不值得花费成本去长期保存。工作记忆本任务周期内必须持续跟踪的信息包括用户目标、已完成步骤、待办列表、当前假设。这是上下文管理的重点对象。长期记忆跨任务复用的知识比如用户偏好、团队规范、历史项目结论。服务于多轮任务之间的连续性。层级典型内容更新频率推荐载体瞬时上下文当前轮输入输出、工具原始结果每步更新过后即弃对话缓冲系统提示 最近窗口工作记忆目标、状态、待办、假设每步或每阶段更新摘要记忆 状态文件长期记忆用户偏好、规范、历史结论低频率跨任务复用向量库 / 知识图谱这个表格看着简单但能解决很多团队一上来就堆记忆的问题。很多人做着做着上下文爆炸就是因为没有区分瞬时和工作记忆把上一步的原始日志跟当前决策全部塞在一起。3.2 第二步搭建分层记忆框架在明确了生命周期之后我习惯用三级结构来实现。第一级是对话缓冲只留最近交互第二级是摘要记忆定期把缓冲内容浓缩第三级是检索记忆把完整事件日志落到向量库需要时再取回。主循环的伪代码大致这样# 伪代码主循环 while not task_finished(): state collect_current_state() # 收集当前工具结果、错误信息 relevant retrieve_memory(state.plan) # 从向量库召回历史相关片段 window build_window( system_prompt PROJECT_GUIDE, recent_buffer buffered_steps[-N:], summary working_summary, retrieved relevant[:top_k], state state ) action llm.call(window) # 模型决策 execute(action) # 执行工具调用 log_event(action, state) # 写入事件日志 if len(buffered_steps) SUMMARY_TRIGGER: working_summary summarize(buffered_steps, working_summary) buffered_steps []这里的要点是检索记忆和工作摘要各司其职。工作摘要负责主线不丢检索记忆负责需要时找回细节。很多失败案例是主次颠倒——Agent 每步都从向量库里拉一堆历史反而把最关键的目标约束淹没了。3.3 第三步检索策略与关键参数调优检索式记忆的效果很大程度取决于几个参数。chunk size、top_k、相似度阈值、是否重排、时间衰减权重。我踩过不少坑说几个比较通用的经验。chunk size不要迷信固定值。简单事件日志一条就是一个 chunk长文档按语义段落切分。目标是每个 chunk 尽量只包含一个完整语义单元。top_k我一般设 3 到 5。太多会把无关信息带进来太少又覆盖不了多视角问题。相似度阈值为了省钱可以设一个硬阈值低于阈值宁可什么都不召。检索到一堆弱相关结果比检索不到更糟。时间衰减长程任务里早期信息往往很重要但向量检索天然偏向语义相似不一定能体现这条信息对应哪个执行阶段。实践中可以结合时间戳做加权让最近和最关键的历史都有机会被看到。调参不能靠感觉要准备一个小规模的回放评估集。把任务分成若干段每段记录当前上下文里应该出现哪些关键信息然后检索时检查这些信息有没有被正确召回。这个评估集不用很大20~30 条就能看出参数方向。3.4 第四步成本与延迟治理长程任务的成本很容易失控我不止一次看到项目跑着跑着账单翻倍。控制成本和延迟有几个经验值得分享。能读摘要不读原文大多数决策只需要工作摘要只有涉及具体数字或历史细节时才触发检索。动态上下文预算任务前期可以多给上下文让 Agent 充分理解目标执行中期开始压缩只保留近期片段和高层摘要。利用 KV Cache如果推理框架支持对不变的系统提示和稳定上下文做缓存能省不少重复计算。定期瘦身每 50 步左右强制清理一次上下文。把已经完成的步骤标记为归档只保留当前状态和下一步待办。成本治理不只是技术问题也是产品问题。如果任务本身允许可以让 Agent 在低峰期跑批处理把延迟敏感的操作和后台任务分开调度。3.5 一个最小可复现的配置示例最后给一个适合起步的简化配置我自己的小项目就是从这个配置改出来的。buffer_size 2000 # 对话缓冲 token 上限 summary_trigger 8 # 每 8 步执行一次增量摘要 summary_max_tokens 800 # 摘要目标长度 vector_store chroma # 或任意向量库 chunk_by event # 按事件切分 top_k 5 score_threshold 0.65 # 低于阈值不召回 rerank True # 是否对召回结果重排 context_budget 6000 # 单步上下文 token 预算 slim_interval 50 # 每 50 步做一次上下文瘦身这套配置对中小型任务能扛住几百步的执行。如果你的任务更长重点去调 summary_trigger 和 context_budget 的关系——摘要越勤上下文越稳定但摘要本身的 token 开销也会上升需要根据预算权衡。4. 从投稿流程角度看上下文管理选题——易被审稿人挑战的点借最近大家常搜的 ICLR 投稿流程话题聊点投稿视角的内容。不管是 ICLR 还是 ICML2026 的投稿离现在还有一段准备期刚好够把长程上下文管理这个方向做扎实。这里不展开讲会议投稿的所有细节重点说这类论文过审为什么难、踩点在哪。4.1 投稿流程要点时间线比想象中更紧张如果准备投 ICLR 2026时间线一般是前一年 9 月底提交论文摘要10 月初全文截止12 月到次年 1 月出审稿意见1 月进入 rebuttal2 月出录用通知会议在次年 4、5 月开。ICML 2026 则通常年初 1 月底截稿3 到 4 月审稿5 月 rebuttal5 月底出结果7 月开会。具体日期以官网为准但节奏大体如此。这条时间线意味着真要在 2026 投稿现在就该跑完主要实验了。长程 Agent 的实验又特别烧时间和 token不比普通单轮实验一部小实验可能就要跑好几个星期。如果想投 ICLR最迟要在摘要截止前的两到三个月把核心方法冻结。投稿时还要注意匿名政策。ICLR / ICML 都是双盲评审论文里不能出现能暴露作者身份的痕迹。项目仓库、预印本、社交媒体的推广时间都要控制好审稿期间相关的公开讨论很容易被审稿人搜到给自己惹麻烦。补充材料也要按会议要求来控制页数和格式。4.2 这类论文最容易被审稿人挑战的三个问题我复盘过不少被拒的长程 Agent 论文核心问题主要集中在三个方面。评估基准不合理。很多工作直接在某个通用基准上跑个分数就交稿但长程上下文管理的关键行为——记忆是否准确、遗忘是否可控、恢复是否及时——完全没有体现。审稿人问一句你这个方法到底改善了哪一环作者答不上来。基线对比不充分。只跟完整上下文对比是不够的。审稿人希望看到跟简单截断、摘要基线、检索基线的对比否则无法判断你提出的机制到底贡献在哪。消融不到位。把检索增强、摘要总结、状态管理好几个东西叠在一起效果上去了但说不清每个组件各自的价值。没有消融等于没有科学结论。应对方法是把实验设计当成论证链来做。每一步都对应一个假设然后用指标验证。比如我想证明目标摘要能减少遗忘那就设置两组对比一组有摘要、一组没有任务执行到后期看谁的最终目标还原率更高。这种实验设计审稿人挑不出大毛病。4.3 选题建议小而深比大而全更有机会长程 Agent 是热门方向2026 肯定会有大量投稿涌进来。如果做通用长程记忆系统想要各方面都碾压难度极大。反而是一些小而深的切口更容易出彩。我从真实工程里看到的可行选题有这些上下文膨胀预测能不能在任务早期预测出后面上下文会涨到多少提前决定采用哪种记忆策略。记忆调度策略什么时候该读摘要、什么时候该检索原文本身可以训练一个调度模块。检索失败恢复当召回结果明显不相关时Agent 如何判断并自救而不是默默被带偏。长程一致性评测设计一个专门衡量跨步骤信息一致性的评测比笼统的准确率更有价值。这类选题的共同特点是问题边界清晰、评估指标明确、和工程痛点强相关。做到位了哪怕范围小也更容易被审稿人认可。5. 常见问题与排查技巧实录最后这部分是我在实际长程 Agent 项目中反复遇到的高频故障。每个问题都有固定的排查路径记录下来供你参考。5.1 上下文越长效果反而越差现象任务执行到中后段模型开始忽略近期指令或者重复早期步骤甚至输出忽然变得非常简洁像丢失了部分信息。排查路径先看每一步实际拼进上下文的 token 数确认是否超过了模型的有效处理区间。然后检查窗口构建逻辑是不是早期内容被截断导致用户目标消失。最后看检索召回结果——是不是召回了一堆过期计划反而把当前状态冲淡了。对策把用户目标、当前阶段、待办列表固定放在系统提示的显眼位置并保证它们在窗口构建时不被截断。对检索召回结果设置更严格的上限宁可少召回也要保证相关。5.2 检索召回不准Agent 被无关信息带偏现象明明做了检索Agent 却引用了不相关的历史记录导致决策错误。排查路径把一次失败的决策拆开看召回结果里哪些 chunk 被选中对比它们的语义与实际相关性。常见原因是 chunk 切分太粗或相似度阈值太低弱相关内容混了进来。对策调整 chunk 粒度按事件或步骤切分提高 score_threshold加一个重排序环节。如果问题还在考虑加上时间衰减权重让最近的关键信息更容易被召回。5.3 重复执行已经完成的步骤现象Agent 反复调用同一个工具提交同一个操作或者把早就完成的子任务又重新做了一遍。排查路径检查是否有状态持久化机制。很多长程 Agent 每轮只看上下文不看真实的系统状态导致它不知道某一步已经执行过。再检查工具调用是否幂等非幂等工具最容易踩重复执行的坑。对策维护一个已完成步骤清单每次决策前读入并在执行后立即更新。对非幂等工具做显式保护——例如在参数里加任务标识服务端做去重。5.4 成本失控跑几天账单涨到怀疑人生现象上下文检索、摘要频繁触发token 用量远高于预估。排查路径给每一步做 token 日志按阶段汇总。重点看是不是摘要触发太频繁、检索每次拉太多 chunk、或者单步上下文预算设得过高。对策增加摘要触发步数、降低 top_k、设置上下文预算、引入 KV Cache。还可以做分层调度非关键步骤用简化上下文关键决策才用完整上下文。成本问题很少有单一原因基本都是几个因素叠加逐项排查才能见效。5.5 高频问题速查表症状可能原因快速排查推荐解法越跑效果越差关键目标被截断或压缩检查窗口构建顺序、系统提示位置固定目标到系统提示避免截断引用过期信息检索召回噪音查看召回 chunk 相关性与时间戳提高阈值、时间衰减、重排重复执行步骤缺少状态持久化检查已完成步骤是否记录维护完成清单工具幂等化突然丢失风格或约束摘要压缩丢细节对比原文与摘要内容摘要保留可追溯指针token 用量爆表摘要频繁、检索过度看步级 token 日志动态预算、减少摘要触发、降 top_k上下文互相冲突新旧信息并存检查旧计划是否清理定期瘦身归档已完成阶段这张表是我过去半年排障的浓缩直接贴到团队 wiki 里当排障手册也没问题。做长程 Agent 上下文管理我最大的体会是别追求记住所有内容好系统是知道该忘什么。信息不是越多越好关键是让对的信息在对的时候出现。你如果也在准备 2026 投稿建议先跑通一个带记忆的长程任务再去想论文创新点——很多想法在真实验证之前都只是幻觉。先把系统跑起来后面该加什么自然就清晰了。
长程 Agent 这个词在 ICLR、ICML 2026 的投稿列表里出现得越来越密集。不是偶然——过去一年里凡是用大模型搭过 Agent 的人几乎都会撞上同一堵墙任务一旦拉长上下文就开始失控。不管是做深度调研、自动化运维、软件工程还是让 Agent 自己跑科研实验前 10 分钟看着聪明跑上几小时就开始丢三落四、反复犯错、甚至彻底跑偏。这篇博文就是把长程 Agent 上下文管理这条线拆开讲清楚为什么它成了顶会焦点主流解决路线有哪些我在实际项目里怎么落地以及从 ICLR/ICML 投稿流程角度看这类工作要过审稿人的关重点在哪。适合正在做 Agent 应用的工程师也适合正在准备 2026 投稿的研究生。1. 为什么长程 Agent 上下文管理成为 ICLR、ICML 2026 的焦点1.1 长程 Agent 正在从演示玩具走向实际任务这两年聊 Agent大家的印象还停留在问一句、答一句、调个 API。短程任务里上下文管理根本不是主要矛盾——prompt 写得清楚工具定义得正确效果就差不到哪去。真正把人折磨疯的是长程任务让 Agent 做一个完整的产品调研跑一个自动化运维流程或者连续几天盯一条数据分析流水线。这类任务通常要执行几十步甚至上百步横跨多个数据源和工具中间还会出现各种异常需要回退、重试、调整计划。一旦任务拉长Agent 就需要在很长的时间跨度里持续记住用户目标、已经得出的中间结论、当前进行到哪一步、哪些方案被证明不可行。这些信息要是丢了轻则重复劳动重则在错误方向上越走越远。我见过不少团队做 demo 效果惊艳一上真实长程任务就开始翻车原因几乎都是同一个上下文管理没做好模型的聪明完全发挥不出来。长程 Agent 这个词也因此在 ICLR、ICML 2026 的讨论里密集出现。它已经从边缘话题变成了研究主线之一因为它不再只是模型能力问题而是系统设计、记忆机制、推理效率的综合问题。1.2 长程任务对上下文管理的四个核心挑战要理解为什么大家都在做上下文管理得先看清长程任务带来的四个具体挑战。有限窗口与无限目标长程任务的描述、过程笔记、外部资料加起来很容易超过任何主流模型的上下文窗口。你没法把所有信息都塞进窗口必须决定哪些信息留下、哪些挪出去。早期信息遗忘Agent 在线执行不能像离线程序那样随时重新读全部历史。任务执行几十步之后用户最初埋下的关键约束经常会被遗忘最后交出来的结果跟需求对不上。推理成本与延迟每行动一步都要把上下文打包发给模型。上下文越长单步越贵、越慢。长程任务几百步起步成本会一路涨到不可接受。上下文污染旧计划、过时假设、失败的中间结果会持续干扰后续决策。比如 Agent 在第二步断言方案 A 可行执行到第二十步发现数据变了但如果旧结论还在上下文里它还是会倾向于沿用旧路线。这四个挑战不是孤立存在的。遗忘会导致重复执行重复执行制造更多冗余记录冗余记录加剧污染污染又导致更多遗忘。这也解释了为什么单纯增大上下文窗口解决不了问题——你把窗口加得再大也只是把所有垃圾一起装进来。顶会里出现的大量上下文管理方案本质上都是想切断这个恶性循环。1.3 审稿视角长程 Agent 评估正在标准化还有一个趋势值得注意。前两年长程 Agent 的工作喜欢用一个笼统的最终成功率来证明自己。但现在评估维度明显细化了大家开始拆开看导航效率、记忆准确性、异常恢复能力、token 开销等指标。按这个趋势ICLR、ICML 2026 的审稿人对上下文管理工作的要求会更高你不能只说我效果好你得说清楚你的方法在什么条件下有效、什么条件下失效、比哪些基线强在哪。这其实对踏实做工程的人更有利因为很多值得写的问题就是从真实长程任务里冒出来的。2. 主流解决路线长程上下文管理的四类技术方案说到上下文管理很多人的第一反应是把上下文窗口换得更大一点。这个思路不算错但远不够。从近两年顶会讨论和实际工程实践看真正在用的方案大体可以分成四类检索式记忆、压缩与提炼、结构化记忆、上下文调度与注意力优化。四类方案各有适用场景我在项目里几乎都是混着用下面一个一个拆开说。2.1 检索式记忆把上下文搬出窗口需要时再取回检索式记忆的思路非常直白不把所有历史都放在上下文里而是把历史记录落到外部存储中比如向量数据库、文档索引或者缓存服务。Agent 每执行一步或几步根据当前目标和执行状态检索出最相关的历史片段放回上下文。这个路线的核心工程点有两个。第一是切分。历史记录不能简单地按固定长度切块最好按事件、按步骤、按决策点来切。例如一次工具调用、一段用户反馈、一条失败记录各自应该是一个完整的检索单元。如果切得太碎信息会被拦腰截断切得太粗又会把互不相干的内容绑在一起。第二是召回质量。纯向量检索在很多场景下并不够用尤其是同时存在数字、专有名词和长句时语义相似度不一定能反映真正的相关性。实际工程里我通常会叠加一层重排序模型或者加上关键词检索做混合召回。优点是实现简单跟具体模型解耦随便换个底座都能用。缺点是检索出的片段如果和当前状态弱相关会引入噪音甚至把决策带偏。所以检索式记忆并不是召回多少放多少召回之后还要做一道相关性过滤这本身就是一个可以打磨的小研究点。2.2 压缩与提炼把历史变成高密度摘要另一条思路是主动遗忘细节只保留高密度摘要。原始对话可能有上万 token但浓缩之后可能只有几百 token 的任务快照。Agent 平时只看摘要遇到需要细节的时刻再回头查原始记录。实现上有两种常见做法。一是增量摘要每当上下文长度超过预设阈值就调用一次模型把已有内容浓缩成新摘要后续新内容再追加到这个摘要之上。二是分层摘要按时间或阶段维护多个层级的摘要——顶层是总体目标中层是阶段结论底层才是原始记录。需要回顾时优先从顶层读拿不准再往下一层翻。摘要路线的省 token 效果非常明显但代价是信息损失。尤其是数字、精确时间、人名这类细节压缩时最容易丢。我在这类系统里有一个原则摘要里必须保留可追溯指针比如步骤 18 得出结论产品 A 的续费模型跑通详见事件日志 #18。这样一来即使摘要丢了细节Agent 也知道去哪里找回原文而不是靠猜。2.3 结构化记忆让 Agent 记住关系而不是文本如果任务本身有很强的实体关系比如做行业研究、管理设备清单、分析多个利益相关方的往来那把记忆组织成知识图谱或事件表往往比让模型在平铺文本里找答案更稳。结构化记忆的做法是每执行完一步抽取关键实体和关系写入图结构或者结构化表需要推理时通过查询获取相关子图。例如要回答项目 A 影响了哪些下游系统直接查边比让模型从一大段文本里逐字找要可靠得多。这类方案的优点是支持多跳推理而且不会因为历史太长而遗忘早期建立的关系。缺点是抽取、入库、更新都要额外成本图结构还要跟任务对齐。我见过一些团队把图谱设计得特别复杂结果查询写起来痛苦数据还经常不一致——图谱是为任务服务的不是为好看服务的。2.4 上下文调度与注意力优化从模型层面降本增效第四类工作不改变记忆的外在形式而是优化上下文的使用方式。常见手段包括滑动窗口、稀疏注意力、KV Cache 管理、上下文切换等。比如长程 Agent 执行时把注意力局部化到最近的相关内容而不是每一步都从头到尾扫一遍全部历史。这类方法见效与否跟模型和推理基础设施关系很大。很多优化是框架层的如果你是应用层开发者能直接借力的地方有限但理解它有助于做方案选型。如果你的场景对单步延迟特别敏感那么把精力投在 KV Cache 优化和分层调度上可能比单纯做检索或摘要收益更大。我不建议普通团队自己从零去搞注意力优化除非你有专门的推理优化背景否则性价比太低了。3. 实操如何给长程 Agent 设计一套可落地的上下文管理方案前面讲的是路线这一节讲落地。我给真实项目做上下文管理时基本会按四步走明确记忆生命周期、搭建分层记忆框架、调检索策略、治理成本和延迟。最后再给一个最小可复现的配置示例方便直接拿去改。3.1 第一步明确记忆生命周期我接到长程任务项目第一步从来不写代码而是先把记忆的层次画出来。大多数场景只需要三层。瞬时上下文当前这一步的输入输出、最近一次工具调用返回的结果。用完即扔不值得花费成本去长期保存。工作记忆本任务周期内必须持续跟踪的信息包括用户目标、已完成步骤、待办列表、当前假设。这是上下文管理的重点对象。长期记忆跨任务复用的知识比如用户偏好、团队规范、历史项目结论。服务于多轮任务之间的连续性。层级典型内容更新频率推荐载体瞬时上下文当前轮输入输出、工具原始结果每步更新过后即弃对话缓冲系统提示 最近窗口工作记忆目标、状态、待办、假设每步或每阶段更新摘要记忆 状态文件长期记忆用户偏好、规范、历史结论低频率跨任务复用向量库 / 知识图谱这个表格看着简单但能解决很多团队一上来就堆记忆的问题。很多人做着做着上下文爆炸就是因为没有区分瞬时和工作记忆把上一步的原始日志跟当前决策全部塞在一起。3.2 第二步搭建分层记忆框架在明确了生命周期之后我习惯用三级结构来实现。第一级是对话缓冲只留最近交互第二级是摘要记忆定期把缓冲内容浓缩第三级是检索记忆把完整事件日志落到向量库需要时再取回。主循环的伪代码大致这样# 伪代码主循环 while not task_finished(): state collect_current_state() # 收集当前工具结果、错误信息 relevant retrieve_memory(state.plan) # 从向量库召回历史相关片段 window build_window( system_prompt PROJECT_GUIDE, recent_buffer buffered_steps[-N:], summary working_summary, retrieved relevant[:top_k], state state ) action llm.call(window) # 模型决策 execute(action) # 执行工具调用 log_event(action, state) # 写入事件日志 if len(buffered_steps) SUMMARY_TRIGGER: working_summary summarize(buffered_steps, working_summary) buffered_steps []这里的要点是检索记忆和工作摘要各司其职。工作摘要负责主线不丢检索记忆负责需要时找回细节。很多失败案例是主次颠倒——Agent 每步都从向量库里拉一堆历史反而把最关键的目标约束淹没了。3.3 第三步检索策略与关键参数调优检索式记忆的效果很大程度取决于几个参数。chunk size、top_k、相似度阈值、是否重排、时间衰减权重。我踩过不少坑说几个比较通用的经验。chunk size不要迷信固定值。简单事件日志一条就是一个 chunk长文档按语义段落切分。目标是每个 chunk 尽量只包含一个完整语义单元。top_k我一般设 3 到 5。太多会把无关信息带进来太少又覆盖不了多视角问题。相似度阈值为了省钱可以设一个硬阈值低于阈值宁可什么都不召。检索到一堆弱相关结果比检索不到更糟。时间衰减长程任务里早期信息往往很重要但向量检索天然偏向语义相似不一定能体现这条信息对应哪个执行阶段。实践中可以结合时间戳做加权让最近和最关键的历史都有机会被看到。调参不能靠感觉要准备一个小规模的回放评估集。把任务分成若干段每段记录当前上下文里应该出现哪些关键信息然后检索时检查这些信息有没有被正确召回。这个评估集不用很大20~30 条就能看出参数方向。3.4 第四步成本与延迟治理长程任务的成本很容易失控我不止一次看到项目跑着跑着账单翻倍。控制成本和延迟有几个经验值得分享。能读摘要不读原文大多数决策只需要工作摘要只有涉及具体数字或历史细节时才触发检索。动态上下文预算任务前期可以多给上下文让 Agent 充分理解目标执行中期开始压缩只保留近期片段和高层摘要。利用 KV Cache如果推理框架支持对不变的系统提示和稳定上下文做缓存能省不少重复计算。定期瘦身每 50 步左右强制清理一次上下文。把已经完成的步骤标记为归档只保留当前状态和下一步待办。成本治理不只是技术问题也是产品问题。如果任务本身允许可以让 Agent 在低峰期跑批处理把延迟敏感的操作和后台任务分开调度。3.5 一个最小可复现的配置示例最后给一个适合起步的简化配置我自己的小项目就是从这个配置改出来的。buffer_size 2000 # 对话缓冲 token 上限 summary_trigger 8 # 每 8 步执行一次增量摘要 summary_max_tokens 800 # 摘要目标长度 vector_store chroma # 或任意向量库 chunk_by event # 按事件切分 top_k 5 score_threshold 0.65 # 低于阈值不召回 rerank True # 是否对召回结果重排 context_budget 6000 # 单步上下文 token 预算 slim_interval 50 # 每 50 步做一次上下文瘦身这套配置对中小型任务能扛住几百步的执行。如果你的任务更长重点去调 summary_trigger 和 context_budget 的关系——摘要越勤上下文越稳定但摘要本身的 token 开销也会上升需要根据预算权衡。4. 从投稿流程角度看上下文管理选题——易被审稿人挑战的点借最近大家常搜的 ICLR 投稿流程话题聊点投稿视角的内容。不管是 ICLR 还是 ICML2026 的投稿离现在还有一段准备期刚好够把长程上下文管理这个方向做扎实。这里不展开讲会议投稿的所有细节重点说这类论文过审为什么难、踩点在哪。4.1 投稿流程要点时间线比想象中更紧张如果准备投 ICLR 2026时间线一般是前一年 9 月底提交论文摘要10 月初全文截止12 月到次年 1 月出审稿意见1 月进入 rebuttal2 月出录用通知会议在次年 4、5 月开。ICML 2026 则通常年初 1 月底截稿3 到 4 月审稿5 月 rebuttal5 月底出结果7 月开会。具体日期以官网为准但节奏大体如此。这条时间线意味着真要在 2026 投稿现在就该跑完主要实验了。长程 Agent 的实验又特别烧时间和 token不比普通单轮实验一部小实验可能就要跑好几个星期。如果想投 ICLR最迟要在摘要截止前的两到三个月把核心方法冻结。投稿时还要注意匿名政策。ICLR / ICML 都是双盲评审论文里不能出现能暴露作者身份的痕迹。项目仓库、预印本、社交媒体的推广时间都要控制好审稿期间相关的公开讨论很容易被审稿人搜到给自己惹麻烦。补充材料也要按会议要求来控制页数和格式。4.2 这类论文最容易被审稿人挑战的三个问题我复盘过不少被拒的长程 Agent 论文核心问题主要集中在三个方面。评估基准不合理。很多工作直接在某个通用基准上跑个分数就交稿但长程上下文管理的关键行为——记忆是否准确、遗忘是否可控、恢复是否及时——完全没有体现。审稿人问一句你这个方法到底改善了哪一环作者答不上来。基线对比不充分。只跟完整上下文对比是不够的。审稿人希望看到跟简单截断、摘要基线、检索基线的对比否则无法判断你提出的机制到底贡献在哪。消融不到位。把检索增强、摘要总结、状态管理好几个东西叠在一起效果上去了但说不清每个组件各自的价值。没有消融等于没有科学结论。应对方法是把实验设计当成论证链来做。每一步都对应一个假设然后用指标验证。比如我想证明目标摘要能减少遗忘那就设置两组对比一组有摘要、一组没有任务执行到后期看谁的最终目标还原率更高。这种实验设计审稿人挑不出大毛病。4.3 选题建议小而深比大而全更有机会长程 Agent 是热门方向2026 肯定会有大量投稿涌进来。如果做通用长程记忆系统想要各方面都碾压难度极大。反而是一些小而深的切口更容易出彩。我从真实工程里看到的可行选题有这些上下文膨胀预测能不能在任务早期预测出后面上下文会涨到多少提前决定采用哪种记忆策略。记忆调度策略什么时候该读摘要、什么时候该检索原文本身可以训练一个调度模块。检索失败恢复当召回结果明显不相关时Agent 如何判断并自救而不是默默被带偏。长程一致性评测设计一个专门衡量跨步骤信息一致性的评测比笼统的准确率更有价值。这类选题的共同特点是问题边界清晰、评估指标明确、和工程痛点强相关。做到位了哪怕范围小也更容易被审稿人认可。5. 常见问题与排查技巧实录最后这部分是我在实际长程 Agent 项目中反复遇到的高频故障。每个问题都有固定的排查路径记录下来供你参考。5.1 上下文越长效果反而越差现象任务执行到中后段模型开始忽略近期指令或者重复早期步骤甚至输出忽然变得非常简洁像丢失了部分信息。排查路径先看每一步实际拼进上下文的 token 数确认是否超过了模型的有效处理区间。然后检查窗口构建逻辑是不是早期内容被截断导致用户目标消失。最后看检索召回结果——是不是召回了一堆过期计划反而把当前状态冲淡了。对策把用户目标、当前阶段、待办列表固定放在系统提示的显眼位置并保证它们在窗口构建时不被截断。对检索召回结果设置更严格的上限宁可少召回也要保证相关。5.2 检索召回不准Agent 被无关信息带偏现象明明做了检索Agent 却引用了不相关的历史记录导致决策错误。排查路径把一次失败的决策拆开看召回结果里哪些 chunk 被选中对比它们的语义与实际相关性。常见原因是 chunk 切分太粗或相似度阈值太低弱相关内容混了进来。对策调整 chunk 粒度按事件或步骤切分提高 score_threshold加一个重排序环节。如果问题还在考虑加上时间衰减权重让最近的关键信息更容易被召回。5.3 重复执行已经完成的步骤现象Agent 反复调用同一个工具提交同一个操作或者把早就完成的子任务又重新做了一遍。排查路径检查是否有状态持久化机制。很多长程 Agent 每轮只看上下文不看真实的系统状态导致它不知道某一步已经执行过。再检查工具调用是否幂等非幂等工具最容易踩重复执行的坑。对策维护一个已完成步骤清单每次决策前读入并在执行后立即更新。对非幂等工具做显式保护——例如在参数里加任务标识服务端做去重。5.4 成本失控跑几天账单涨到怀疑人生现象上下文检索、摘要频繁触发token 用量远高于预估。排查路径给每一步做 token 日志按阶段汇总。重点看是不是摘要触发太频繁、检索每次拉太多 chunk、或者单步上下文预算设得过高。对策增加摘要触发步数、降低 top_k、设置上下文预算、引入 KV Cache。还可以做分层调度非关键步骤用简化上下文关键决策才用完整上下文。成本问题很少有单一原因基本都是几个因素叠加逐项排查才能见效。5.5 高频问题速查表症状可能原因快速排查推荐解法越跑效果越差关键目标被截断或压缩检查窗口构建顺序、系统提示位置固定目标到系统提示避免截断引用过期信息检索召回噪音查看召回 chunk 相关性与时间戳提高阈值、时间衰减、重排重复执行步骤缺少状态持久化检查已完成步骤是否记录维护完成清单工具幂等化突然丢失风格或约束摘要压缩丢细节对比原文与摘要内容摘要保留可追溯指针token 用量爆表摘要频繁、检索过度看步级 token 日志动态预算、减少摘要触发、降 top_k上下文互相冲突新旧信息并存检查旧计划是否清理定期瘦身归档已完成阶段这张表是我过去半年排障的浓缩直接贴到团队 wiki 里当排障手册也没问题。做长程 Agent 上下文管理我最大的体会是别追求记住所有内容好系统是知道该忘什么。信息不是越多越好关键是让对的信息在对的时候出现。你如果也在准备 2026 投稿建议先跑通一个带记忆的长程任务再去想论文创新点——很多想法在真实验证之前都只是幻觉。先把系统跑起来后面该加什么自然就清晰了。
