生成端的最后一道闸引用编号、校验和两道拒答很多人把 RAG 的成败全押在检索得准不准上。但检索做得再好最后一步没约束住就是白做——模型可以无视检索结果自己编一段通顺但错误的话出来。这篇讲我在生成端加的三道约束。一、引用既要编号又要校验给模型加提示词约束只是第一层1. 每个结论后标注来源编号如 [1][2] 2. 只使用提供的文档不得夹带文档之外的知识 3. 若文档不足以回答直接输出 NO_ANSWER但只有这三句是不够的。编号只是让根据文档所述变得可验证校验才是让编号不是装饰。没有校验时带引用就是纯粹的装饰——模型完全可以编一个[3]出来而[3]在原文里根本不存在。所以我加了一个extract_cited步骤把答案里出现的所有[n]抽出来逐个比对检索回来的文档看这个编号是不是真被引用了、对应内容是不是真在那个文档里。引用校验是唯一能被自动化发现的幻觉信号。模型编一段假话你很难自动判断但模型编一个不存在的[3]是可以被代码抓住的。实测瞎标率 0/29。这不是说模型不会幻觉了是说乱编引用这一种幻觉被堵住了——剩下的幻觉要靠 LLM-as-judge 去抓那是下一周的事。二、两道拒答闸门是被数据逼出来的答不上来就拒答是 RAG 的基本功。但拿什么判断该拒答我一开始想当然用了向量相似度结果被实测数据打脸组向量相似度 p50命中组有答案0.775未命中组没答案0.749几乎一样。因为 API 文档语料高度同质化一个域外问题和域内问题向量分都落在 0.75 上下余弦根本区分不了像不像和能不能回答。所以我把拒答拆成了两道闸门闸门①检索侧阈值 0.40只挡跑题的。域外问题向量分落在 0.236~0.397全拦下而且这一步成本是 0——不用调 LLM闸门②生成侧兜住域内但答非所问的——域内问题向量分不低但文档里其实没有答案交给模型自己输出 NO_ANSWER。两道都要有不是设计癖好是被数据逼出来的。余弦这道闸只能挡明显的域外问题挡不住看着相关但答案不在文档里的后者只能靠模型。三、为什么拒答阈值用向量余弦而不是融合分既然有了混合检索为什么不用融合分RRF做阈值因为融合分是1/(60名次)的累加取值范围只有0.016~0.033——这么窄的区间根本选不出有意义的阈值而且换个 k 值全部失效。向量余弦是 0~1语义直观“低于 0.40 就不答”谁都听得懂、也好调。四、三道闸实测的拒答率50 条 golden set 18 条拒答集三种模式的拒答率模式abstain_rate纯向量0.16纯 BM250.28混合0.20拒答率不是越高越好也不是越低越好——它是准确拒答的比例。纯 BM25 拒答率最高0.28但这不代表它最好因为拒答率要跟该拒的有没有拒、不该拒的有没有误拒一起看。这正是评测要回答的问题下一篇讲。小结结论数字 / 事实引用要编号 校验编号可验证校验是唯一自动幻觉信号瞎标率 0/29两道拒答闸门余弦挡域外成本 0 模型兜域内余弦分不了像不像和能不能答命中 0.775 vs 未命中 0.749几乎一样拒答阈值用余弦不用融合分融合分 0.016~0.033 太窄闸门①阈值0.40域外问题 0.236~0.397 全拦上一篇混合检索为什么用 RRF。下一篇给 RAG 建 baseline。
生成端的最后一道闸引用编号、校验和两道拒答很多人把 RAG 的成败全押在检索得准不准上。但检索做得再好最后一步没约束住就是白做——模型可以无视检索结果自己编一段通顺但错误的话出来。这篇讲我在生成端加的三道约束。一、引用既要编号又要校验给模型加提示词约束只是第一层1. 每个结论后标注来源编号如 [1][2] 2. 只使用提供的文档不得夹带文档之外的知识 3. 若文档不足以回答直接输出 NO_ANSWER但只有这三句是不够的。编号只是让根据文档所述变得可验证校验才是让编号不是装饰。没有校验时带引用就是纯粹的装饰——模型完全可以编一个[3]出来而[3]在原文里根本不存在。所以我加了一个extract_cited步骤把答案里出现的所有[n]抽出来逐个比对检索回来的文档看这个编号是不是真被引用了、对应内容是不是真在那个文档里。引用校验是唯一能被自动化发现的幻觉信号。模型编一段假话你很难自动判断但模型编一个不存在的[3]是可以被代码抓住的。实测瞎标率 0/29。这不是说模型不会幻觉了是说乱编引用这一种幻觉被堵住了——剩下的幻觉要靠 LLM-as-judge 去抓那是下一周的事。二、两道拒答闸门是被数据逼出来的答不上来就拒答是 RAG 的基本功。但拿什么判断该拒答我一开始想当然用了向量相似度结果被实测数据打脸组向量相似度 p50命中组有答案0.775未命中组没答案0.749几乎一样。因为 API 文档语料高度同质化一个域外问题和域内问题向量分都落在 0.75 上下余弦根本区分不了像不像和能不能回答。所以我把拒答拆成了两道闸门闸门①检索侧阈值 0.40只挡跑题的。域外问题向量分落在 0.236~0.397全拦下而且这一步成本是 0——不用调 LLM闸门②生成侧兜住域内但答非所问的——域内问题向量分不低但文档里其实没有答案交给模型自己输出 NO_ANSWER。两道都要有不是设计癖好是被数据逼出来的。余弦这道闸只能挡明显的域外问题挡不住看着相关但答案不在文档里的后者只能靠模型。三、为什么拒答阈值用向量余弦而不是融合分既然有了混合检索为什么不用融合分RRF做阈值因为融合分是1/(60名次)的累加取值范围只有0.016~0.033——这么窄的区间根本选不出有意义的阈值而且换个 k 值全部失效。向量余弦是 0~1语义直观“低于 0.40 就不答”谁都听得懂、也好调。四、三道闸实测的拒答率50 条 golden set 18 条拒答集三种模式的拒答率模式abstain_rate纯向量0.16纯 BM250.28混合0.20拒答率不是越高越好也不是越低越好——它是准确拒答的比例。纯 BM25 拒答率最高0.28但这不代表它最好因为拒答率要跟该拒的有没有拒、不该拒的有没有误拒一起看。这正是评测要回答的问题下一篇讲。小结结论数字 / 事实引用要编号 校验编号可验证校验是唯一自动幻觉信号瞎标率 0/29两道拒答闸门余弦挡域外成本 0 模型兜域内余弦分不了像不像和能不能答命中 0.775 vs 未命中 0.749几乎一样拒答阈值用余弦不用融合分融合分 0.016~0.033 太窄闸门①阈值0.40域外问题 0.236~0.397 全拦上一篇混合检索为什么用 RRF。下一篇给 RAG 建 baseline。
