1. 从“它”说起多轮对话RAG的隐形杀手最近在折腾一个基于大模型的客服问答系统用上了现在挺火的Conversational RAG对话式检索增强生成架构。想法很美好用户可以和AI进行多轮对话AI能记住上下文每次回答都基于整个对话历史和最新的知识库检索结果。我兴致勃勃地接上了LangChain用上了最新的对话记忆和检索链跑起来一看单轮问答效果拔群准确率喜人。但当我开始模拟真实用户进行连续几轮的追问和指代时问题就来了。场景是这样的。用户第一轮问“介绍一下我们公司最新发布的‘星海’智能手表。” 系统检索知识库完美地回答了手表的功能、参数和售价。用户接着问“它的电池续航怎么样” 系统检索返回的答案却可能是关于公司另一款产品“银河”手环的电池信息或者干脆说“未找到相关信息”。问题就出在这个“它”字上。对人类来说“它”指代上一句话的主语“星海智能手表”清晰无比。但对当前的Conversational RAG系统来说这个“它”在进入向量检索时可能只是一个语义模糊的代词丢失了关键的指代信息导致检索方向完全跑偏。这就是所谓的“代词陷阱”Pronoun Trap或者更广义地说是“指代消解”Coreference Resolution问题在RAG场景下的集中体现。它不仅仅是“它”还包括“这个产品”、“上述功能”、“他们部门”等等。在多轮对话中这类指代频繁出现如果处理不好RAG系统就会从“智能助手”退化成“健忘症患者”每次回答都像是失忆后重新开始对话的连贯性和准确性荡然无存。今天我们就来深挖一下这个陷阱的成因并分享几种在实践中验证过的、从简单到复杂的解决思路。2. 陷阱成因剖析当向量检索遇上上下文断裂要解决问题得先理解问题是怎么发生的。一个典型的Conversational RAG流程在处理第N轮用户查询Query_N时大致会经历以下几步历史对话管理系统会维护一个对话历史[Turn_1, Turn_2, ..., Turn_{N-1}]其中每个Turn包含用户查询和AI回复。查询重写/扩展将当前查询Query_N与对话历史结合生成一个“富含上下文”的、面向检索的查询Query_N_for_retrieval。这是最核心也最容易出问题的环节。向量检索使用Query_N_for_retrieval去向量数据库中搜索相关文档片段。上下文构建将检索到的文档片段与完整的对话历史一起组合成送给大模型LLM的最终提示Prompt。生成回答LLM基于构建好的上下文生成最终回复。陷阱就埋在第2步“查询重写”和第3步“向量检索”的衔接处。我们来看看几种常见的、但会“踩坑”的处理方式。2.1 简单拼接法信息稀释与噪声引入最直接的想法是把最近几轮对话的文本直接拼接到当前查询后面。例如# 假设历史 用户: 介绍一下星海智能手表。 AI: 星海智能手表是...省略介绍 # 当前查询 用户: 它的电池续航怎么样 # 拼接后的检索查询 检索查询 “它的电池续航怎么样 介绍一下星海智能手表。 星海智能手表是...”这种方法看似提供了上下文实则问题很大信息稀释核心指代词“它”被淹没在一大段文本中。向量检索模型如text-embedding-ada-002在处理长文本时会对所有词进行编码但“星海手表”这个关键实体的权重可能被其他词语如“介绍”、“是”、“功能”平均掉。噪声干扰AI之前的回复可能包含大量其他信息如价格、材质这些无关信息会成为检索噪声反而降低与“电池续航”相关的文档的匹配分数。效率低下每次检索都需要编码很长的文本计算开销大。实测中这种方法对于简单的指代效果极不稳定检索准确率可能比不用历史还要低。2.2 传统指代消解工具领域不匹配与误差传导既然是指代问题自然会想到NLP领域的成熟技术——指代消解工具如spaCy的coreference resolution或Stanford CoreNLP。思路是先对对话历史进行指代消解将所有的代词替换成它所指代的具体实体然后再用替换后的文本去检索。例如将“它的电池续航怎么样” 重写为 “星海智能手表的电池续航怎么样”。这听起来是正解但在RAG生产环境中会遇到几个棘手问题领域特定性通用指代消解工具是在新闻、维基百科等通用语料上训练的。而企业知识库中充满了产品代号、内部项目名、专业术语如“A/B测试框架V2.1”这些工具很难准确识别和链接这些领域实体。误差放大指代消解本身就有一定错误率。一旦“它”被错误地链接到“银河手环”那么后续的检索和生成都会基于这个错误前提导致“答非所问”的灾难性后果。这种错误是系统性的很难在后续环节纠正。计算延迟指代消解尤其是基于神经网络的模型是一个相对耗时的计算过程。将其加入RAG的实时检索链路会增加整体响应延迟。因此直接套用传统NLP工具往往不是最优解。2.3 向量检索的局限性语义相似度不等于指代关系这是最本质的一层。向量检索的核心是计算语义相似度。“它”这个词的向量表示与其所指代实体“星海智能手表”的向量表示在语义空间里可能相距甚远。“它”是一个高度抽象、依赖上下文的代词其向量更接近于“这个”、“那个”等指示词。而“星海智能手表”是一个具体名词实体。当用“它”去检索时数据库里那些明确写着“星海智能手表电池续航为14天”的文档其向量与“电池续航”更近与“它”却未必近。检索模型无法理解“它”和“星海”之间的指代关系这种关系是逻辑的、语法的而非纯粹语义的。所以问题的核心在于如何将对话历史中的指代逻辑转化为能够提升向量检索准确性的信息下面我们就进入实战环节看看如何搭建更健壮的防线。3. 实战策略一LLM驱动的查询重写既然大模型LLM本身在理解上下文和指代方面表现出色那么最自然的思路就是让LLM来负责查询重写。这不再是简单的拼接而是让LLM基于整个对话历史将含有代词的当前查询改写成一个独立、完整、不含歧义的检索查询。3.1 基础实现Prompt工程的力量使用LangChain我们可以很容易地构建一个LLMChain来负责这项工作。核心在于设计一个有效的Prompt。from langchain.prompts import PromptTemplate from langchain.chains import LLMChain from langchain_community.chat_models import ChatOpenAI # 示例可用其他模型 # 定义重写Prompt REWRITE_PROMPT_TEMPLATE 你是一个专业的查询重写助手。你的任务是根据对话历史将用户最新的查询重写成一个独立、完整、适合用于向量数据库检索的查询语句。 请遵循以下规则 1. **解决指代**将查询中的所有代词如“它”、“这个”、“上述”、“他们”替换成对话历史中明确提到的对应实体名称。 2. **保持简洁**重写后的查询应只包含进行信息检索所必需的关键词和实体去除问候语、感叹词等无关内容。 3. **维持意图**绝对不要改变用户的原始查询意图。 4. **独立成句**重写后的查询应该是一个完整的句子或短语即使脱离历史对话也能被理解。 对话历史 {chat_history} 用户最新查询 {question} 请输出重写后的检索查询 REWRITE_PROMPT PromptTemplate( input_variables[“chat_history”, “question”], templateREWRITE_PROMPT_TEMPLATE ) # 初始化LLM和链 llm ChatOpenAI(temperature0, model“gpt-3.5-turbo”) # temperature设为0保证稳定性 rewrite_chain LLMChain(llmllm, promptREWRITE_PROMPT) # 使用示例 chat_history “用户介绍一下星海智能手表。\nAI星海智能手表是我们公司旗舰产品拥有...” current_question “它的防水等级是多少” rewritten_query rewrite_chain.run(chat_historychat_history, questioncurrent_question) print(rewritten_query) # 理想输出“星海智能手表的防水等级是多少”实操心得与避坑点模型选择对于重写任务不需要追求最大、最强的模型。GPT-3.5-Turbo、Claude Haiku或DeepSeek等性价比高的模型完全足够且响应更快。关键是将temperature参数设为0或接近0以保证重写结果的稳定性和一致性。Prompt的约束力Prompt中的规则必须清晰明确。强调“独立成句”至关重要这能防止LLM输出一些依赖上下文的、不完整的短语。可以加入“如果历史中未提及明确实体则保持原查询不变”的规则以处理边界情况。历史格式处理提供给LLM的chat_history需要是清晰的文本格式。通常我会处理成“用户xxx\nAIyyy\n”的形式。避免将原始的消息对象列表直接扔进去那样会引入无关的元数据噪声。错误处理与降级一定要为这个重写链设置超时和异常捕获。如果重写服务失败或超时比如LLM API不稳定必须有降级方案。最简单的降级就是回退到使用原始用户查询或者使用最近一轮的用户查询AI回复进行简单拼接。这保证了系统的可用性。3.2 进阶优化引入实体记忆缓存在多轮对话中同一个实体可能被反复提及。每次都让LLM从头解析整个历史来消解指代有些低效。我们可以引入一个简单的“实体记忆缓存”来优化。思路是在每一轮对话后主动提取当前轮次中出现的核心实体产品名、人名、项目代号等并将其缓存起来。当进行查询重写时除了完整的对话历史还将这个“实体缓存”作为额外上下文提供给LLM。# 一个简化的实体缓存示例 class EntityCache: def __init__(self): self.cache [] # 存储实体列表可附加出现轮次等信息 def update(self, text, turn_id): # 这里可以使用简单的规则如大写名词、特定词库或一个小型的NER模型来提取实体 # 示例简单规则提取实际项目需更严谨 import re # 假设产品名都是带引号的中文名词 potential_entities re.findall(r“([^“])”, text) for entity in potential_entities: if entity not in self.cache: self.cache.append(entity) def get_context(self): return “”.join(self.cache[-5:]) # 返回最近提到的5个实体 # 在重写Prompt中融入实体缓存 REWRITE_PROMPT_WITH_CACHE_TEMPLATE ...前述规则不变... 当前对话中已提及的主要实体有{entity_cache} 对话历史 {chat_history} 用户最新查询 {question} 请输出重写后的检索查询 这样LLM在重写时可以快速参考这个实体列表更容易地将“它”映射到缓存中的某个实体上提高了重写的准确性和速度。这个缓存可以根据对话轮次或时间进行清理。4. 实战策略二改进检索过程——HyDE与多查询检索查询重写是在检索前优化输入。我们也可以在检索过程中下功夫设计对指代问题更鲁棒的检索策略。4.1 Hypothetical Document Embeddings (HyDE) 思路借鉴HyDE的核心思想是让LLM根据查询生成一个假设性的答案文档然后用这个假设文档的向量去检索真实文档。这个思路可以巧妙地用于指代消解。我们可以这样做将当前查询和对话历史一起让LLM生成一个“假设的答案片段”。这个片段必然会用到具体的实体来回答问题从而间接完成了指代消解。输入历史当前查询 用户介绍一下星海智能手表。 AI星海智能手表是...省略 用户它的电池续航怎么样 LLM生成假设答案 “星海智能手表的电池续航时间为14天支持快充。” 然后用“星海智能手表的电池续航时间为14天支持快充。”这个文本去进行向量检索。这个生成的假设文本包含了具体的实体“星海智能手表”和核心问题“电池续航”用它来检索比用“它的电池续航怎么样”准确得多。在LangChain中可以自定义一个Retriever来实现这个逻辑。注意这种方法会增加一次LLM调用带来额外的延迟和成本。适用于对准确率要求极高、对延迟有一定容忍度的场景。同时生成的假设答案可能不够准确但这没关系因为我们的目的只是用它来寻找相似的真实文档。4.2 多查询检索 (Multi-Query Retrieval)这是另一种非常有效的策略。其原理是不依赖单一的重写结果而是让LLM基于原始查询和上下文生成多个不同角度或不同表述的查询变体然后用所有这些变体去并行检索最后合并去重检索结果。为什么这对“代词陷阱”有效因为LLM在生成多个变体时可能会产生一些解决了指代的查询。例如原始查询“它的电池续航怎么样”LLM生成的多个查询可能包括“星海智能手表 电池续航”“这款手表的电池能用多久”“产品的电池寿命”“它的电源持续时间”在这其中第1个变体直接解决了指代。当用这4个查询去检索时只要有一个命中了正确文档我们就能通过结果合并如按最大分数、或加权平均得到正确的上下文。这相当于为检索过程增加了“冗余”和“多样性”提高了系统的鲁棒性。LangChain内置了MultiQueryRetriever可以很方便地使用。你需要提供一个基础Retriever和一个用于生成查询变体的LLM。from langchain.retrievers.multi_query import MultiQueryRetriever from langchain_community.vectorstores import Chroma from langchain_openai import OpenAIEmbeddings # 假设已有基础向量库和检索器 vectorstore Chroma(...) base_retriever vectorstore.as_retriever() # 创建多查询检索器 llm ChatOpenAI(temperature0) retriever MultiQueryRetriever.from_llm( retrieverbase_retriever, llmllm ) # 使用时直接传入包含历史的查询即可。检索器内部会调用LLM生成多个查询。 docs retriever.get_relevant_documents(“它的电池续航怎么样”)经验之谈多查询检索是我在生产环境中非常偏爱的一种方法。它平衡了效果和复杂度。虽然它也会增加LLM调用生成多个查询但通常这些查询生成可以很快完成。关键优势在于它不依赖于一个“完美”的重写而是通过“群众智慧”来弥补单个查询的不足。在实际配置中我通常会限制生成的查询数量为3-5个以避免检索开销过大。5. 实战策略三终极方案——图增强与Agentic RAG当对话变得极其复杂涉及多个实体及其复杂关系时例如“对比一下星海手表和银河手环的电池然后告诉我哪个的屏幕更贵”前述方法可能仍会力不从心。这时我们需要更强大的表示和推理能力。5.1 图结构增强检索 (Graph-Augmented RAG)这种思路不再仅仅依赖纯文本和向量而是将知识库构建成一个图结构。节点代表实体产品、人物、概念边代表实体间的关系“属于”、“有属性”、“对比于”。构建阶段从文档中提取实体和关系存入图数据库如Neo4j, NebulaGraph。检索阶段当用户查询包含代词时系统首先利用对话历史在图谱中进行一次“图查询”。例如识别出当前对话的焦点实体是“星海智能手表”然后沿着“has_property”边找到它的“电池续航”属性节点最后获取与该节点关联的原始文档片段。这种方法将指代消解转化为图查询问题非常精确。但它对知识库的构建提出了很高要求需要高质量的实体关系抽取流程实施成本较高。适用于知识结构稳定、实体关系明确的领域如产品知识库、医疗知识图谱。5.2 Agentic RAG将决策交给智能体这是目前最前沿也最灵活的思路尤其随着LangGraph这类框架的成熟变得更具可行性。在这种架构下我们不再设计一个固定的“重写-检索-生成”流水线而是创建一个具备工具调用能力的智能体Agent。智能体的工作流可能是这样的接收用户查询和对话历史。自主决策分析当前查询。如果发现查询中包含模糊指代如“它”、“上面的”则主动调用一个“指代消解工具”可以是我们前面提到的LLM重写链也可以是一个专用的指代消解模型。执行检索使用消解后的清晰查询调用“检索工具”获取文档。生成回答综合所有信息生成回复。LangGraph允许你以图的方式编排这些步骤定义复杂的决策逻辑比如什么情况下需要重写什么情况下可以直接检索。Agentic RAG的本质是将“如何处理指代”这个决策从硬编码的规则变成了智能体基于对上下文理解而采取的动态动作。这赋予了系统极大的灵活性和可扩展性。例如你可以定义这样一个LangGraph的工作流智能体先判断查询的复杂性简单查询直接检索复杂或含代词的查询则先进入一个“查询澄清”子图其中可能包含多轮与用户的简单交互如“您指的是‘星海智能手表’吗”或者直接使用LLM进行消解然后再进行检索。这种方案的威力强大但复杂度也最高需要精心设计智能体的决策逻辑、工具集和提示词并且要处理更长的执行链路。6. 评估与迭代如何知道你的系统不再“健忘”实施了解决方案后如何评估效果不能只靠感觉需要建立评估体系。构建测试集收集或构造一批包含多轮指代对话的测试用例。例如Case 1: Q1: “什么是项目A” - A1: “项目A是...” - Q2: “它的负责人是谁” (正确指代)Case 2: Q1: “介绍下张三和李四。” - A1: “张三是...李四是...” - Q2: “他的部门是什么” (模糊指代需要结合上下文判断是张三还是李四)。Case 3: Q1: “打开文档X。” - A1: “已打开。” - Q2: “把第三段标红。” (跨模态指代“第三段”指文档X的第三段)。核心评估指标检索准确率系统最终提供给LLM的上下文文档是否包含了回答当前问题所必需的正确信息这是最根本的指标。指代消解准确率在需要重写的查询中系统重写后的查询是否正确地替换了所有代词端到端回答准确率最终生成的答案是否正确响应延迟引入重写、多查询等策略后系统延迟增加了多少A/B测试在线上环境中可以对小部分流量使用新的“抗指代”方案与基线方案如简单拼接历史进行对比观察关键业务指标如用户满意度、问题解决率的变化。从我实际迭代的经验来看LLM驱动查询重写 多查询检索的组合拳在大多数业务场景下已经能解决80%以上的指代问题且复杂度和成本可控。对于剩下20%的复杂情况再考虑引入图检索或Agentic架构。技术的选择永远是一场关于效果、成本和复杂度的权衡。从最简单的规则开始建立评估基线然后逐步引入更高级的技术并持续用数据验证其价值这才是稳健的工程化路径。多轮对话中的“代词陷阱”不是一个能一劳永逸解决的问题但随着我们对上下文理解的深入和工具链的完善让它不再成为用户体验的绊脚石是完全可行的。
1. 从“它”说起多轮对话RAG的隐形杀手最近在折腾一个基于大模型的客服问答系统用上了现在挺火的Conversational RAG对话式检索增强生成架构。想法很美好用户可以和AI进行多轮对话AI能记住上下文每次回答都基于整个对话历史和最新的知识库检索结果。我兴致勃勃地接上了LangChain用上了最新的对话记忆和检索链跑起来一看单轮问答效果拔群准确率喜人。但当我开始模拟真实用户进行连续几轮的追问和指代时问题就来了。场景是这样的。用户第一轮问“介绍一下我们公司最新发布的‘星海’智能手表。” 系统检索知识库完美地回答了手表的功能、参数和售价。用户接着问“它的电池续航怎么样” 系统检索返回的答案却可能是关于公司另一款产品“银河”手环的电池信息或者干脆说“未找到相关信息”。问题就出在这个“它”字上。对人类来说“它”指代上一句话的主语“星海智能手表”清晰无比。但对当前的Conversational RAG系统来说这个“它”在进入向量检索时可能只是一个语义模糊的代词丢失了关键的指代信息导致检索方向完全跑偏。这就是所谓的“代词陷阱”Pronoun Trap或者更广义地说是“指代消解”Coreference Resolution问题在RAG场景下的集中体现。它不仅仅是“它”还包括“这个产品”、“上述功能”、“他们部门”等等。在多轮对话中这类指代频繁出现如果处理不好RAG系统就会从“智能助手”退化成“健忘症患者”每次回答都像是失忆后重新开始对话的连贯性和准确性荡然无存。今天我们就来深挖一下这个陷阱的成因并分享几种在实践中验证过的、从简单到复杂的解决思路。2. 陷阱成因剖析当向量检索遇上上下文断裂要解决问题得先理解问题是怎么发生的。一个典型的Conversational RAG流程在处理第N轮用户查询Query_N时大致会经历以下几步历史对话管理系统会维护一个对话历史[Turn_1, Turn_2, ..., Turn_{N-1}]其中每个Turn包含用户查询和AI回复。查询重写/扩展将当前查询Query_N与对话历史结合生成一个“富含上下文”的、面向检索的查询Query_N_for_retrieval。这是最核心也最容易出问题的环节。向量检索使用Query_N_for_retrieval去向量数据库中搜索相关文档片段。上下文构建将检索到的文档片段与完整的对话历史一起组合成送给大模型LLM的最终提示Prompt。生成回答LLM基于构建好的上下文生成最终回复。陷阱就埋在第2步“查询重写”和第3步“向量检索”的衔接处。我们来看看几种常见的、但会“踩坑”的处理方式。2.1 简单拼接法信息稀释与噪声引入最直接的想法是把最近几轮对话的文本直接拼接到当前查询后面。例如# 假设历史 用户: 介绍一下星海智能手表。 AI: 星海智能手表是...省略介绍 # 当前查询 用户: 它的电池续航怎么样 # 拼接后的检索查询 检索查询 “它的电池续航怎么样 介绍一下星海智能手表。 星海智能手表是...”这种方法看似提供了上下文实则问题很大信息稀释核心指代词“它”被淹没在一大段文本中。向量检索模型如text-embedding-ada-002在处理长文本时会对所有词进行编码但“星海手表”这个关键实体的权重可能被其他词语如“介绍”、“是”、“功能”平均掉。噪声干扰AI之前的回复可能包含大量其他信息如价格、材质这些无关信息会成为检索噪声反而降低与“电池续航”相关的文档的匹配分数。效率低下每次检索都需要编码很长的文本计算开销大。实测中这种方法对于简单的指代效果极不稳定检索准确率可能比不用历史还要低。2.2 传统指代消解工具领域不匹配与误差传导既然是指代问题自然会想到NLP领域的成熟技术——指代消解工具如spaCy的coreference resolution或Stanford CoreNLP。思路是先对对话历史进行指代消解将所有的代词替换成它所指代的具体实体然后再用替换后的文本去检索。例如将“它的电池续航怎么样” 重写为 “星海智能手表的电池续航怎么样”。这听起来是正解但在RAG生产环境中会遇到几个棘手问题领域特定性通用指代消解工具是在新闻、维基百科等通用语料上训练的。而企业知识库中充满了产品代号、内部项目名、专业术语如“A/B测试框架V2.1”这些工具很难准确识别和链接这些领域实体。误差放大指代消解本身就有一定错误率。一旦“它”被错误地链接到“银河手环”那么后续的检索和生成都会基于这个错误前提导致“答非所问”的灾难性后果。这种错误是系统性的很难在后续环节纠正。计算延迟指代消解尤其是基于神经网络的模型是一个相对耗时的计算过程。将其加入RAG的实时检索链路会增加整体响应延迟。因此直接套用传统NLP工具往往不是最优解。2.3 向量检索的局限性语义相似度不等于指代关系这是最本质的一层。向量检索的核心是计算语义相似度。“它”这个词的向量表示与其所指代实体“星海智能手表”的向量表示在语义空间里可能相距甚远。“它”是一个高度抽象、依赖上下文的代词其向量更接近于“这个”、“那个”等指示词。而“星海智能手表”是一个具体名词实体。当用“它”去检索时数据库里那些明确写着“星海智能手表电池续航为14天”的文档其向量与“电池续航”更近与“它”却未必近。检索模型无法理解“它”和“星海”之间的指代关系这种关系是逻辑的、语法的而非纯粹语义的。所以问题的核心在于如何将对话历史中的指代逻辑转化为能够提升向量检索准确性的信息下面我们就进入实战环节看看如何搭建更健壮的防线。3. 实战策略一LLM驱动的查询重写既然大模型LLM本身在理解上下文和指代方面表现出色那么最自然的思路就是让LLM来负责查询重写。这不再是简单的拼接而是让LLM基于整个对话历史将含有代词的当前查询改写成一个独立、完整、不含歧义的检索查询。3.1 基础实现Prompt工程的力量使用LangChain我们可以很容易地构建一个LLMChain来负责这项工作。核心在于设计一个有效的Prompt。from langchain.prompts import PromptTemplate from langchain.chains import LLMChain from langchain_community.chat_models import ChatOpenAI # 示例可用其他模型 # 定义重写Prompt REWRITE_PROMPT_TEMPLATE 你是一个专业的查询重写助手。你的任务是根据对话历史将用户最新的查询重写成一个独立、完整、适合用于向量数据库检索的查询语句。 请遵循以下规则 1. **解决指代**将查询中的所有代词如“它”、“这个”、“上述”、“他们”替换成对话历史中明确提到的对应实体名称。 2. **保持简洁**重写后的查询应只包含进行信息检索所必需的关键词和实体去除问候语、感叹词等无关内容。 3. **维持意图**绝对不要改变用户的原始查询意图。 4. **独立成句**重写后的查询应该是一个完整的句子或短语即使脱离历史对话也能被理解。 对话历史 {chat_history} 用户最新查询 {question} 请输出重写后的检索查询 REWRITE_PROMPT PromptTemplate( input_variables[“chat_history”, “question”], templateREWRITE_PROMPT_TEMPLATE ) # 初始化LLM和链 llm ChatOpenAI(temperature0, model“gpt-3.5-turbo”) # temperature设为0保证稳定性 rewrite_chain LLMChain(llmllm, promptREWRITE_PROMPT) # 使用示例 chat_history “用户介绍一下星海智能手表。\nAI星海智能手表是我们公司旗舰产品拥有...” current_question “它的防水等级是多少” rewritten_query rewrite_chain.run(chat_historychat_history, questioncurrent_question) print(rewritten_query) # 理想输出“星海智能手表的防水等级是多少”实操心得与避坑点模型选择对于重写任务不需要追求最大、最强的模型。GPT-3.5-Turbo、Claude Haiku或DeepSeek等性价比高的模型完全足够且响应更快。关键是将temperature参数设为0或接近0以保证重写结果的稳定性和一致性。Prompt的约束力Prompt中的规则必须清晰明确。强调“独立成句”至关重要这能防止LLM输出一些依赖上下文的、不完整的短语。可以加入“如果历史中未提及明确实体则保持原查询不变”的规则以处理边界情况。历史格式处理提供给LLM的chat_history需要是清晰的文本格式。通常我会处理成“用户xxx\nAIyyy\n”的形式。避免将原始的消息对象列表直接扔进去那样会引入无关的元数据噪声。错误处理与降级一定要为这个重写链设置超时和异常捕获。如果重写服务失败或超时比如LLM API不稳定必须有降级方案。最简单的降级就是回退到使用原始用户查询或者使用最近一轮的用户查询AI回复进行简单拼接。这保证了系统的可用性。3.2 进阶优化引入实体记忆缓存在多轮对话中同一个实体可能被反复提及。每次都让LLM从头解析整个历史来消解指代有些低效。我们可以引入一个简单的“实体记忆缓存”来优化。思路是在每一轮对话后主动提取当前轮次中出现的核心实体产品名、人名、项目代号等并将其缓存起来。当进行查询重写时除了完整的对话历史还将这个“实体缓存”作为额外上下文提供给LLM。# 一个简化的实体缓存示例 class EntityCache: def __init__(self): self.cache [] # 存储实体列表可附加出现轮次等信息 def update(self, text, turn_id): # 这里可以使用简单的规则如大写名词、特定词库或一个小型的NER模型来提取实体 # 示例简单规则提取实际项目需更严谨 import re # 假设产品名都是带引号的中文名词 potential_entities re.findall(r“([^“])”, text) for entity in potential_entities: if entity not in self.cache: self.cache.append(entity) def get_context(self): return “”.join(self.cache[-5:]) # 返回最近提到的5个实体 # 在重写Prompt中融入实体缓存 REWRITE_PROMPT_WITH_CACHE_TEMPLATE ...前述规则不变... 当前对话中已提及的主要实体有{entity_cache} 对话历史 {chat_history} 用户最新查询 {question} 请输出重写后的检索查询 这样LLM在重写时可以快速参考这个实体列表更容易地将“它”映射到缓存中的某个实体上提高了重写的准确性和速度。这个缓存可以根据对话轮次或时间进行清理。4. 实战策略二改进检索过程——HyDE与多查询检索查询重写是在检索前优化输入。我们也可以在检索过程中下功夫设计对指代问题更鲁棒的检索策略。4.1 Hypothetical Document Embeddings (HyDE) 思路借鉴HyDE的核心思想是让LLM根据查询生成一个假设性的答案文档然后用这个假设文档的向量去检索真实文档。这个思路可以巧妙地用于指代消解。我们可以这样做将当前查询和对话历史一起让LLM生成一个“假设的答案片段”。这个片段必然会用到具体的实体来回答问题从而间接完成了指代消解。输入历史当前查询 用户介绍一下星海智能手表。 AI星海智能手表是...省略 用户它的电池续航怎么样 LLM生成假设答案 “星海智能手表的电池续航时间为14天支持快充。” 然后用“星海智能手表的电池续航时间为14天支持快充。”这个文本去进行向量检索。这个生成的假设文本包含了具体的实体“星海智能手表”和核心问题“电池续航”用它来检索比用“它的电池续航怎么样”准确得多。在LangChain中可以自定义一个Retriever来实现这个逻辑。注意这种方法会增加一次LLM调用带来额外的延迟和成本。适用于对准确率要求极高、对延迟有一定容忍度的场景。同时生成的假设答案可能不够准确但这没关系因为我们的目的只是用它来寻找相似的真实文档。4.2 多查询检索 (Multi-Query Retrieval)这是另一种非常有效的策略。其原理是不依赖单一的重写结果而是让LLM基于原始查询和上下文生成多个不同角度或不同表述的查询变体然后用所有这些变体去并行检索最后合并去重检索结果。为什么这对“代词陷阱”有效因为LLM在生成多个变体时可能会产生一些解决了指代的查询。例如原始查询“它的电池续航怎么样”LLM生成的多个查询可能包括“星海智能手表 电池续航”“这款手表的电池能用多久”“产品的电池寿命”“它的电源持续时间”在这其中第1个变体直接解决了指代。当用这4个查询去检索时只要有一个命中了正确文档我们就能通过结果合并如按最大分数、或加权平均得到正确的上下文。这相当于为检索过程增加了“冗余”和“多样性”提高了系统的鲁棒性。LangChain内置了MultiQueryRetriever可以很方便地使用。你需要提供一个基础Retriever和一个用于生成查询变体的LLM。from langchain.retrievers.multi_query import MultiQueryRetriever from langchain_community.vectorstores import Chroma from langchain_openai import OpenAIEmbeddings # 假设已有基础向量库和检索器 vectorstore Chroma(...) base_retriever vectorstore.as_retriever() # 创建多查询检索器 llm ChatOpenAI(temperature0) retriever MultiQueryRetriever.from_llm( retrieverbase_retriever, llmllm ) # 使用时直接传入包含历史的查询即可。检索器内部会调用LLM生成多个查询。 docs retriever.get_relevant_documents(“它的电池续航怎么样”)经验之谈多查询检索是我在生产环境中非常偏爱的一种方法。它平衡了效果和复杂度。虽然它也会增加LLM调用生成多个查询但通常这些查询生成可以很快完成。关键优势在于它不依赖于一个“完美”的重写而是通过“群众智慧”来弥补单个查询的不足。在实际配置中我通常会限制生成的查询数量为3-5个以避免检索开销过大。5. 实战策略三终极方案——图增强与Agentic RAG当对话变得极其复杂涉及多个实体及其复杂关系时例如“对比一下星海手表和银河手环的电池然后告诉我哪个的屏幕更贵”前述方法可能仍会力不从心。这时我们需要更强大的表示和推理能力。5.1 图结构增强检索 (Graph-Augmented RAG)这种思路不再仅仅依赖纯文本和向量而是将知识库构建成一个图结构。节点代表实体产品、人物、概念边代表实体间的关系“属于”、“有属性”、“对比于”。构建阶段从文档中提取实体和关系存入图数据库如Neo4j, NebulaGraph。检索阶段当用户查询包含代词时系统首先利用对话历史在图谱中进行一次“图查询”。例如识别出当前对话的焦点实体是“星海智能手表”然后沿着“has_property”边找到它的“电池续航”属性节点最后获取与该节点关联的原始文档片段。这种方法将指代消解转化为图查询问题非常精确。但它对知识库的构建提出了很高要求需要高质量的实体关系抽取流程实施成本较高。适用于知识结构稳定、实体关系明确的领域如产品知识库、医疗知识图谱。5.2 Agentic RAG将决策交给智能体这是目前最前沿也最灵活的思路尤其随着LangGraph这类框架的成熟变得更具可行性。在这种架构下我们不再设计一个固定的“重写-检索-生成”流水线而是创建一个具备工具调用能力的智能体Agent。智能体的工作流可能是这样的接收用户查询和对话历史。自主决策分析当前查询。如果发现查询中包含模糊指代如“它”、“上面的”则主动调用一个“指代消解工具”可以是我们前面提到的LLM重写链也可以是一个专用的指代消解模型。执行检索使用消解后的清晰查询调用“检索工具”获取文档。生成回答综合所有信息生成回复。LangGraph允许你以图的方式编排这些步骤定义复杂的决策逻辑比如什么情况下需要重写什么情况下可以直接检索。Agentic RAG的本质是将“如何处理指代”这个决策从硬编码的规则变成了智能体基于对上下文理解而采取的动态动作。这赋予了系统极大的灵活性和可扩展性。例如你可以定义这样一个LangGraph的工作流智能体先判断查询的复杂性简单查询直接检索复杂或含代词的查询则先进入一个“查询澄清”子图其中可能包含多轮与用户的简单交互如“您指的是‘星海智能手表’吗”或者直接使用LLM进行消解然后再进行检索。这种方案的威力强大但复杂度也最高需要精心设计智能体的决策逻辑、工具集和提示词并且要处理更长的执行链路。6. 评估与迭代如何知道你的系统不再“健忘”实施了解决方案后如何评估效果不能只靠感觉需要建立评估体系。构建测试集收集或构造一批包含多轮指代对话的测试用例。例如Case 1: Q1: “什么是项目A” - A1: “项目A是...” - Q2: “它的负责人是谁” (正确指代)Case 2: Q1: “介绍下张三和李四。” - A1: “张三是...李四是...” - Q2: “他的部门是什么” (模糊指代需要结合上下文判断是张三还是李四)。Case 3: Q1: “打开文档X。” - A1: “已打开。” - Q2: “把第三段标红。” (跨模态指代“第三段”指文档X的第三段)。核心评估指标检索准确率系统最终提供给LLM的上下文文档是否包含了回答当前问题所必需的正确信息这是最根本的指标。指代消解准确率在需要重写的查询中系统重写后的查询是否正确地替换了所有代词端到端回答准确率最终生成的答案是否正确响应延迟引入重写、多查询等策略后系统延迟增加了多少A/B测试在线上环境中可以对小部分流量使用新的“抗指代”方案与基线方案如简单拼接历史进行对比观察关键业务指标如用户满意度、问题解决率的变化。从我实际迭代的经验来看LLM驱动查询重写 多查询检索的组合拳在大多数业务场景下已经能解决80%以上的指代问题且复杂度和成本可控。对于剩下20%的复杂情况再考虑引入图检索或Agentic架构。技术的选择永远是一场关于效果、成本和复杂度的权衡。从最简单的规则开始建立评估基线然后逐步引入更高级的技术并持续用数据验证其价值这才是稳健的工程化路径。多轮对话中的“代词陷阱”不是一个能一劳永逸解决的问题但随着我们对上下文理解的深入和工具链的完善让它不再成为用户体验的绊脚石是完全可行的。
