智能体长上下文处理：从压缩到记忆系统的工程实践

1. 从“上下文太长”到“智能体失忆”一个真实的生产事故上周我们团队负责的一个智能客服Agent在生产环境出了个大篓子。一个用户连续咨询了十几个关于产品功能、价格、售后政策的复杂问题Agent在前半段对答如流精准地引用了用户之前提到的需求。但就在对话进行到第20轮左右时用户突然问“那我刚才提到的那个‘企业版套餐的API调用限制’具体是多少” 智能体沉默了半晌回复了一句“抱歉我还没有学习到关于企业版套餐API调用限制的信息您可以重新描述一下您的问题吗”用户当场就炸了投诉客服“前言不搭后语”、“记性差”。我们复盘日志一看问题根源清晰得刺眼上下文窗口溢出了。我们用的模型有128K的上下文长度看似很长但在多轮、信息密集的对话中这个“内存”很快就被占满了。当新的对话内容进来时最开始的、但可能依然关键的历史信息被无情地“挤”了出去导致智能体出现了“失忆症”。这个事故让我彻底明白对于需要处理长对话、长文档或多步骤任务的智能体Agent而言仅仅依赖大模型的原始长上下文能力是远远不够的。它就像一台内存有限的电脑所有信息都堆在桌面上一旦桌面满了就只能把最早的文件扔进垃圾桶不管它是否重要。真正的挑战在于如何让智能体在有限的“桌面空间”里始终保留最重要的信息并能在需要时快速找回被归档的“文件”。这就是“Agent长上下文处理机制”要解决的核心问题。它不是一个单一的技术而是一套协同工作的策略核心是两大支柱Context Compaction上下文压缩和Memory记忆系统。前者负责“整理桌面”后者负责“建立档案库”。今天我就结合我们踩过的坑和后续的优化实践来深入聊聊这两者是如何协同工作让智能体真正拥有“长期记忆”和“工作焦点”的。2. 理解长上下文的本质不只是“长度”更是“信息密度”在深入技术细节前我们必须先统一认知长上下文处理的目标不是无限制地延长上下文而是优化信息在有限上下文窗口内的存储、检索和利用效率。大模型的上下文窗口可以理解为一个固定长度的“工作记忆区”或“注意力焦点区”。所有在这个区域内的Token词元都能被模型同时“看到”并用于生成下一个回复。这个机制有两个关键特性计算成本与长度平方相关Transformer架构中的自注意力机制其计算复杂度与序列长度的平方成正比。这意味着将上下文从4K扩展到128K计算开销的增加不是线性的而是指数级的。盲目使用超长上下文会带来极高的推理延迟和成本。注意力稀释效应即使模型理论上能处理很长的上下文但人类的注意力以及模型的“注意力”是有限的。当上下文过长时真正关键的信息可能被淹没在海量细节中导致模型无法有效聚焦表现反而下降。因此长上下文处理机制的第一要义是从追求“绝对长度”转向追求“有效信息密度”。Context Compaction和Memory正是为了提升这个“密度”而生的两种互补手段。Context Compaction上下文压缩的核心思想是“精炼”。它不丢弃信息而是对原始冗长的上下文进行摘要、提取或重构生成一个更简短但信息量保留度最高的版本然后将其放回上下文窗口。这相当于把一篇长报告压缩成一份要点简报放在桌面上。Memory记忆系统的核心思想是“外挂”。它将历史对话中的关键信息如用户偏好、决策事实、任务状态结构化地存储到外部数据库或向量索引中。当需要时通过检索Retrieval的方式将最相关的记忆片段动态地、按需地“召回”到当前的上下文窗口中。这相当于把不常用但重要的文件归档到文件柜需要时再抽出来看。两者的协同关系可以概括为Compaction处理“当下”的冗杂Memory管理“过去”的精粹Compaction是内存的实时整理师Memory是外存的智能档案馆。3. Context Compaction在对话流中实时提炼精华上下文压缩不是一次性动作而是一个伴随对话持续进行的动态过程。我们的目标是在每一轮对话交互后都能生成一个既简短又能支撑后续对话不“断片”的压缩上下文。实践中主要有以下几种策略3.1 策略一增量式摘要Incremental Summarization这是最直观的方法。每经过N轮对话或当上下文长度达到某个阈值时触发一个摘要任务。让模型可以是同一个大模型也可以是一个专门的、更经济的摘要模型对截止当前的所有对话历史生成一个简洁的摘要。关键实现细节与避坑点触发时机不要固定轮数。我们最初设定每5轮摘要一次结果发现在用户快速问答时摘要打断了连贯性而在用户大段描述时又摘要得太晚。更好的策略是基于Token数或信息熵触发。例如当未压缩的对话历史Token数达到窗口长度的70%时触发压缩。摘要指令设计指令至关重要。不能简单地说“总结一下对话”。必须明确要求摘要需要保留哪些信息。我们的指令模板大致如下“你是一个对话摘要助手。请将以下对话历史压缩为一个简洁的段落必须保留1) 用户的核心诉求与身份2) 已达成共识的关键事实与决策3) 当前待解决的开放性问题或任务状态。忽略问候语、重复确认和无关细节。”保留原始片段压缩后并非完全用摘要替换所有历史。一种稳健的策略是采用“滑动窗口摘要”的混合模式。例如保留最近3轮原始对话保证最新上下文的完整性然后将更早的历史替换为其摘要。这样既能压缩长度又能避免摘要过程可能的信息损失影响即时交互。3.2 策略二结构化提取Structured Extraction对于任务导向型Agent如订票、编写代码、数据分析对话中的很多信息是结构化的。与其生成一段自然语言摘要不如直接提取出关键实体和状态存入一个结构化的“对话状态”对象中。例如在一个旅行规划Agent的对话中我们可以实时提取并更新一个JSON对象{ “user_preferences”: { “destination”: “东京”, “budget”: “中等”, “travel_style”: “美食与文化” }, “decisions_made”: [ “出行日期2024年10月20日至27日”, “已选定航班XX航空NH860” ], “open_tasks”: [ “筛选银座附近的酒店价格区间800-1200元/晚”, “预约10月22日的寿司大师课程” ] }这个JSON对象可能只有几百个Token但它精准地承载了对话的核心状态。在后续每一轮交互中都将这个最新的状态对象置于上下文开头再附上最近的几轮原始对话。这样Agent始终对任务全局了如指掌。实操心得结构化提取的准确性极度依赖提示工程Prompt Engineering。你需要为模型设计非常精准的“提取指令”和“输出格式”。一开始我们让模型自由发挥结果JSON字段名五花八门导致后续解析失败。后来我们采用了函数调用Function Calling或结构化输出如JSON Mode能力强制模型按照预定义的Schema输出稳定性和准确性大大提升。3.3 策略三相关性过滤Relevance Filtering这种方法基于一个假设并非历史对话中的所有句子对当前回复都同等重要。我们可以使用一个轻量级的模型如句子编码器来计算历史中每一句话或每一个对话轮次与当前用户最新查询的语义相似度只保留相似度最高的K个历史片段。它的优势与局限优势计算相对高效能直接保留原始文本避免摘要可能带来的信息扭曲。局限容易丢失必要的“上下文背景”。比如用户问“它多少钱”过滤机制可能会保留之前提到价格的句子但却丢失了“它”具体指代哪个产品的关键指代信息。因此这种方法通常需要与指代消解Coreference Resolution模块结合使用或者在过滤时以“对话轮次块”为单位而非单句以保留局部连贯性。在我们的客服Agent优化中最终采用的是“结构化提取为主增量式摘要为辅”的混合模式。对于明确的任务参数如订单号、问题分类、用户等级实时提取到状态对象对于非结构化的背景描述和复杂诉求则定期进行增量摘要。这使得我们在将上下文长度控制在8K以内的情况下有效记忆范围覆盖了超过50轮的高质量对话。4. Memory系统构建智能体的长期记忆档案库如果说Context Compaction是对“工作记忆”的优化那么Memory系统就是为智能体建立“长期记忆”。它的工作流程可以概括为“记-存-取”三个环节。4.1 记忆的写入What to Remember不是所有对话内容都值得存入长期记忆。无差别存储会导致记忆库迅速膨胀检索效率下降噪音增多。我们定义了三类必须写入记忆的信息用户画像与偏好例如“用户A是资深开发者偏好使用Python曾询问过异步编程问题”。这类信息是隐式的需要从对话中推断并积累。重要事实与决策例如“用户B于2024年10月15日购买了企业版套餐订单号XYZ123”。这是客观事实必须准确记录。衍生知识与结论在帮助用户解决问题的过程中Agent自身推理产生的重要中间结论或最终答案。例如经过多轮调试帮用户得出的结论“项目启动失败的原因是port 8080被占用”。写入的时机我们采用了“异步写入”策略。在每一轮对话结束后由一个独立的“记忆管理”模块分析本轮对话判断是否有符合上述三类的新信息产生若有则将其格式化后存入记忆库。这避免了对主对话流程的阻塞。4.2 记忆的存储How to Store存储的核心挑战是如何支持高效且准确的检索。我们放弃了简单地将对话原文存入数据库的做法而是采用了“向量记忆Vector Memory 元数据Metadata”的双引擎存储。向量记忆将需要记忆的文本片段如“用户喜欢Python”通过嵌入模型Embedding Model转换为高维向量存入向量数据库如Pinecone, Weaviate, Qdrant。这解决了语义检索的问题即使用户换了一种说法如“我常用那种缩进严格的语言”也能通过向量相似度找到“喜欢Python”这条记忆。元数据仅为向量存储是不够的。当你想精确查找“2024年10月的订单”时基于相似度的检索可能返回“2023年11月的订单”。因此我们需要为每一条记忆附上结构化的元数据例如{“user_id”: “A”, “memory_type”: “fact”, “entity”: “order”, “date”: “2024-10-15”}。这支持了精确过滤。我们的记忆条目结构如下{ “id”: “mem_001”, “content”: “用户购买了企业版套餐订单号XYZ123”, “embedding”: [0.12, -0.05, …], // 向量 “metadata”: { “user_id”: “user_B”, “type”: “fact_decision”, “category”: “purchase”, “date”: “2024-10-15T14:30:00Z”, “source_dialogue_turn”: [18, 19] // 来源于哪几轮对话 } }4.3 记忆的读取When and How to Retrieve记忆检索不是每轮都进行也不是检索得越多越好。不当的检索会引入无关信息干扰模型判断。我们的检索策略基于两个触发条件显式触发当用户查询中包含明显的记忆指向词如“我之前说过…”、“记得吗”、“我的订单”则立刻触发检索。隐式触发通过分析当前用户查询的意图和实体如果检测到可能涉及历史信息例如查询“它的状态”而“它”可能指代之前讨论过的某个工单则触发检索。检索过程是分层的第一步向量相似度检索。用当前查询的向量从向量数据库中召回Top K条最相关的记忆例如K5。第二步元数据过滤。利用当前对话的已知元数据如user_id对上一步的结果进行过滤筛掉不属于当前用户的记忆。第三步相关性重排序与裁剪。有时向量检索的结果可能包含语义相近但实际无关的记忆。我们会用一个轻量的交叉编码器Cross-Encoder对查询和候选记忆进行更精细的相关性打分并只保留分数超过阈值的前M条例如M3。最终这精选出的M条记忆会被以清晰标注的形式如“【系统记忆】…”插入到当前对话上下文的头部或特定位置供大模型在生成回复时参考。5. Compaction与Memory的协同工作流单独使用Compaction或Memory都有缺陷。仅靠Compaction历史信息虽然被压缩但仍在有限的上下文窗口内竞争空间超长对话依然会丢失细节。仅靠Memory则每次回复都依赖于检索的准确性如果检索失败或遗漏智能体就会“失忆”。因此一个健壮的长上下文处理机制必须是两者的深度协同。下图展示了我们最终落地的协同工作流对话进行用户与Agent进行多轮交互。实时压缩Compaction监控上下文Token数。达到阈值后触发结构化提取更新“对话状态”对象。对于非结构化部分触发增量式摘要生成最新摘要。用“最新对话状态 最新摘要 最近N轮原始对话”组成新的、缩短后的上下文。记忆沉淀Memory Writing在每轮对话后异步分析该轮内容。如果识别出符合标准的“用户偏好”、“重要事实”或“衍生结论”则将其格式化生成向量和元数据存入记忆库。记忆检索Memory Reading当新一轮用户查询到来时先判断是否需要检索。如需检索则执行分层检索流程获取最相关的几条记忆片段。上下文组装Context Assembly将检索到的记忆压缩后的当前上下文含状态和摘要用户最新查询共同组装成最终提交给大模型的完整提示Prompt。生成与循环模型基于这个信息密度极高、既有长期记忆又有工作焦点的上下文生成准确、连贯的回复。然后流程回到第1步。这个协同机制的精髓在于Memory负责保存“压缩上下文”也无法容纳的、颗粒度更细的长期知识而Compaction则确保这些被检索回来的记忆能够与当前对话的“工作状态”无缝集成在一个可控的长度内。它们共同将大模型的有限上下文窗口变成了一个可无限扩展的、智能化的信息工作台。6. 实践中的挑战与优化策略这套机制听起来美好但在实际部署中我们遇到了不少挑战也总结了一些优化策略。挑战一压缩导致的信息失真与歧义摘要模型可能过度概括或丢失微妙但重要的细节。比如用户说“我对海鲜不过敏但不喜欢贝类的口感”摘要可能变成“用户对海鲜无过敏”丢失了“不喜欢贝类”的关键偏好。我们的优化引入“关键原话引用”机制。在生成摘要的同时要求模型同时输出几个“需要保留原话的关键引用点及其位置”。在组装上下文时将这些原话片段以引用的形式额外附上。这样既压缩了长度又保留了精确信息。挑战二记忆检索的“幻觉”与冲突向量检索可能返回语义相关但事实错误的记忆或者不同时间点产生的矛盾记忆如用户昨天说喜欢A今天说喜欢B。我们的优化时间戳加权在检索重排序时给予更新时间更近的记忆更高的权重。置信度标注在写入记忆时让模型对自己提取的信息给出一个置信度分数。低置信度的记忆在检索竞争中会被降权。冲突检测与消解定期运行后台任务检测同一实体的矛盾记忆并尝试通过关联更多上下文或标记为“待确认”来处理。挑战三系统复杂度与延迟增加Compaction和Memory都引入了额外的模型调用摘要、嵌入、检索和网络IO必然会增加单轮对话的延迟。我们的优化异步化与流水线将记忆写入、非紧急的摘要任务彻底异步化不阻塞主响应链路。检索操作虽然需要同步进行但可以通过优化向量数据库索引、使用更快的嵌入模型来提速。分级策略对于延迟极度敏感的场景我们实施分级策略。在对话初期或简单问答时禁用压缩和记忆仅使用原始短上下文。只有当对话轮次或复杂度达到阈值时才启用完整的长上下文处理机制。缓存热点记忆对于高频被检索的用户画像或通用知识将其缓存在应用内存中避免每次访问向量数据库。挑战四评估难度如何量化评价长上下文处理机制的有效性传统的单轮问答评测集不再适用。我们的方法构造多轮评测集人工设计或利用现有对话数据集构造需要长期记忆和指代理解的多轮对话测试用例。核心指标事实一致性Factual Consistency在长对话中Agent对同一事实的表述是否前后一致。指代解析准确率Coreference Resolution AccuracyAgent能否正确理解“它”、“那个”、“上面的方法”等指代。用户满意度长对话针对完成复杂任务的多轮对话进行人工或模拟用户满意度评分。平均有效对话轮次在上下文窗口限制下能保持高质量对话的平均轮次。7. 技术选型与工具栈参考如果你正在为自己的Agent构建长上下文处理能力以下是我们技术栈的一些选择供你参考压缩Compaction摘要模型如果对质量要求高可以直接使用主对话的大模型如GPT-4进行摘要但成本较高。为了平衡成本与效果我们使用了专门微调过的Llama 3.1 8B或Qwen2.5 7B模型进行摘要和提取它们在保证质量的同时速度更快、成本更低。结构化提取充分利用大模型原生的函数调用OpenAI或工具调用Anthropic, DeepSeek能力是当前最可靠的方式。也可以使用像Pydantic这样的库来定义输出格式配合提示词实现。记忆Memory向量数据库Pinecone和Weaviate是托管服务的优秀选择开箱即用。如果追求可控性和成本Qdrant或Chroma的自部署方案也很流行。我们目前使用的是Weaviate因其在过滤和元数据管理上非常灵活。嵌入模型选择针对检索优化的模型。我们对比了text-embedding-3-small、BGE-M3和voyage-2最终在中文场景下选择了BGE-M3它在混合检索密集检索稀疏检索上表现均衡。英文场景下text-embedding-3-small是性价比很高的选择。编排框架像LangChain或LlamaIndex这类框架提供了构建Memory和检索系统的抽象组件能极大加速开发。但我们的生产系统由于对性能和定制化要求极高最终选择了基于FastAPI自研编排层以更精细地控制整个协同流程。长上下文处理不是一蹴而就的它是一个需要持续迭代和调优的系统工程。从我们踩坑的经验来看与其盲目追求模型的上下文长度不如精心设计好Agent的“记忆”与“注意力”管理机制。Context Compaction与Memory的协同正是实现这一目标的核心路径。它让智能体不再是那个健忘的、桌面杂乱无章的实习生而变成了一个拥有完美归档系统和高效工作流程的专业助手。