RAG已经召回正确文档，为什么大模型仍然回答错误？完整排查链路

文章摘要很多RAG项目在调试时发现检索结果里明明已经包含正确答案大模型却仍然答错、遗漏关键条件甚至引用了另一段无关内容。这说明问题已经不在“有没有召回”而在上下文组装、排序、提示词、证据冲突、模型注意力和输出约束。本文提供一条从检索结果到最终回答的完整排查链路并给出可观测字段、上下文模板和忠实度校验方法。一、先明确召回正确不等于回答正确RAG链路至少包含用户问题 → 查询改写 → 检索 → 排序 → 上下文组装 → 大模型生成 → 输出校验“正确文档出现在Top K中”只证明检索阶段没有完全失败。它不代表正确片段排名足够高片段内容完整上下文没有冲突模型真正关注了它Prompt要求模型严格引用最终答案经过忠实度校验。例如用户问出差住宿标准是多少检索结果Top1旧版制度标准为400元 Top2新版制度标准为500元 Top3报销流程说明虽然新版制度已经召回但模型可能根据Top1回答400元。二、问题一正确文档排名太低检查不要只看Top K里有没有还要看正确证据排第几。建议记录rank retrieval_score rerank_score document_id chunk_id version effective_date如果正确证据长期排在第5—10名加入上下文后可能被模型忽略。解决方向查询改写混合检索Metadata过滤Reranker调整Chunk删除重复和过期内容提升标题与正文的关联。三、问题二Chunk只包含答案的一半检索到的片段住宿标准为500元。完整条款可能是一线城市住宿标准为500元 其他城市为350元 总监级以上按另一标准执行。用户问的是杭州模型只看到第一句就可能错误套用500元。这种问题常见于固定长度切分条款被切开表格行列分离标题与正文分离条件和结论不在同一Chunk父子关系丢失。解决子Chunk负责召回 父Chunk负责提供完整上下文或者给每个Chunk附带标题、上级章节、前后邻接片段和条款编号。四、问题三上下文中有冲突版本企业知识库经常同时存在旧制度新制度草稿培训材料历史方案客户定制版本。如果不做版本治理模型会把所有内容都视为同等可信。Metadata至少包含{document_id:TRAVEL-001,version:V3.2,status:EFFECTIVE,effective_date:2026-05-01,expired_at:null,tenant_id:T001}查询过滤status EFFECTIVE effective_date 当前日期 expired_at为空或大于当前日期不要指望模型自己判断哪个版本最新。五、问题四上下文组装顺序错误常见代码context\n\n.join(hit.contentforhitinsearch_results)这会丢失文档标题、排名、来源、版本、片段边界和条款编号。推荐[证据1] 文档差旅管理制度 版本V3.2 状态现行有效 章节4.2 住宿标准 内容…… [证据2] 文档差旅报销操作手册 版本V2.0 章节3.1 报销材料 内容……六、问题五Prompt没有要求“只依据证据”错误Prompt请回答用户问题。推荐你是企业知识库助手。 只能依据“证据区”回答。 如果证据不足明确回答“当前资料不足无法确认”。 不得使用未出现在证据区中的数字、日期、功能或规则。 如证据冲突列出冲突内容不得自行选择。 回答中的关键结论必须标注证据编号。七、问题六System Prompt与RAG Prompt冲突全局System Prompt可能写你必须尽可能完整回答用户。RAG Prompt写证据不足时拒绝回答。模型收到两个不同目标可能优先生成一个“看起来合理”的答案。需要统一优先级准确与有证据 高于 完整和流畅八、问题七上下文太长正确证据被淹没加入更多Chunk不一定更好。Top K从5调到30后可能出现无关内容增加冲突增加Token成本增加正确证据位于中间模型注意力被分散输出变得泛化。建议分别测试Top3、Top5、Top8和Top10并统计答案正确率、忠实度、Token和延迟。九、问题八Reranker排序目标不匹配Reranker通常判断问题与片段是否相关但“相关”不等于“包含回答”。可以增加评测标签RELATED ANSWER_BEARING SUPPORTING IRRELEVANT重点优化ANSWER_BEARING片段排名。十、问题九模型能力或参数不适合即使证据正确模型仍可能忽略细粒度条件计算错误合并多段时出错不遵守引用格式结构化输出失败。需要固定检索结果后对比不同模型这样才能判断是否是生成模型问题。同时检查temperature max_tokens system_prompt response_format知识问答通常使用较低temperature。十一、问题十输出阶段没有忠实度校验生成后可以增加第二阶段校验答案中的每个事实 → 是否能在证据中找到结构化输出{answer:一线城市住宿标准为500元。,claims:[{claim:一线城市住宿标准为500元,evidence_ids:[E1],supported:true}]}当supportedfalse时可以删除该Claim、重新生成或提示资料不足。十二、完整可观测字段每次RAG请求建议记录request_id user_query rewritten_query retrieval_strategy top_k document_id chunk_id retrieval_score rerank_score document_version context_order context_tokens model temperature answer citations faithfulness_score user_feedback十三、最小排查流程第一步固定检索结果把正确证据直接传给模型。如果仍答错问题在Prompt、上下文或模型如果答对问题在检索或排序。第二步只保留正确证据如果只保留正确证据后答对说明存在冲突或噪声。第三步保留结构化来源检查标题、版本和条款是否帮助模型判断。第四步更换模型固定上下文比较模型能力。第五步增加忠实度检查判断生成阶段是否引入了新事实。十四、示例上下文模板你只能根据以下证据回答。 规则 1. 不得使用证据外信息。 2. 数字、日期和规则必须标注证据编号。 3. 证据冲突时明确指出。 4. 证据不足时回答“资料不足”。 用户问题 {question} 证据 [E1] 文档{title} 版本{version} 章节{section} 内容{content} 请输出 结论 依据 不确定项总结RAG召回正确文档后仍答错最常见的根因是排名低、Chunk不完整、版本冲突、上下文组装差、Prompt不严格、上下文过长、模型忽略条件和缺少忠实度校验。排查时应固定每一层输入输出逐层验证而不是直接反复更换Embedding或大模型。