版权与内容来源声明本文为原创整理。文中涉及官方文档、开源仓库、论文与公开报道的内容均在附表 A 中标注来源引用官方原文保持原样不作改写。文中命令、版本号与界面截图以本文成文时的实测/核验结果为准标注「待验证」的部分请以你本地环境实际输出为判断依据。本文不推荐任何不合规的软件获取方式也不对任何收益结果作承诺。转载请注明出处。一、先看现场检索一条没命中它照样编了一段合格答案周一上午十点客服在群里贴了一张截图。用户问「R9 路由器的并发上限是多少」回答是型号对得上数字带单位后面跟了一句「如果并发接近这个值建议在网关侧开启限流」还分了三点。整段读下来没有任何可疑的地方读起来像从产品手册里摘的。实际情况是索引里关于 R9 只有一份安装说明通篇没有出现过「并发」两个字。检索确实返回了这一条top1 相似度 0.31。当时系统里没有阈值这个概念0.31 就被当成「找到了」。模型没有说「文档里没有」。它按文档的语气写了一段数字填的是 512单位是「个连接」和它见过的同类设备参数长得一样。这段答案后来被复制进了客户工单两天后才有人发现原始文档里根本没这个数。1.1 格式合格才是最坏的伪装乱码会被当场发现格式合格的答案不会。一段有型号、有数字、有单位、有建议的回答读者的第一反应是「查到了」而不是「它是不是编的」。幻觉真正造成损失的那一步不是生成是被当成事实使用。这也是拒答这件事难做的原因它要对抗的不是模型的错误而是人对「通顺」的默认信任。1.2 四道闸门不是并列的四件事很多团队做拒答是把几件事并列着做加一句「不确定就说不确定」的提示词设一个相似度阈值再加一个「答案要点引用」的要求。三件事都做了效果仍然不稳定因为它们是流水线不是清单。顺序是这样的第一道先确认「库里到底有没有」把「根本没有」的那批挡在外面第二道再看「答案有没有用上检索到的内容」把「块对了但答案自己编」的挡在外面第三道比对「同一问题两次答案的实体是否一致」把「单条看不出、换个问法就变」的挡在外面第四道才轮到话术决定被拦下来的请求以什么形式交还给用户。后一道的前提是前一道已经清掉了某一类错误。第一道不拦后面三道全部失效——因为支撑和一致性检查的都是「答案与检索块的关系」当块本身无关时它们会反过来给出「一致」「有支撑」的假阳性。下面按这个顺序拆。二、第一道检索分数闸门——拦的是「库里根本没有」这道闸门是唯一能拦「库里没有」的闸门而「库里没有」恰恰是幻觉最主要的来源。它的判据只有一个检索分数低于阈值就不许生成。阈值该定在哪不能凭感觉。下面这段脚本用 numpy 造两类分数分布——一类是库里真有答案的一类是库里没有的——让它们刻意重叠然后扫一遍阈值看两类错误怎么换。 实测环境Python 3.13.12 / macOS / numpy 2.5.4固定随机种子 20261028无计时函数实验 A检索分数阈值扫描 —— 误拒、误答与转人工量固定种子可复现。importnumpyasnp rngnp.random.default_rng(20261028)N2000# 可答库里真有答案分数偏高不可答库里没有分数偏低。两簇刻意重叠。hasnp.clip(rng.normal(0.62,0.14,N),0.0,1.0)nonenp.clip(rng.normal(0.38,0.13,N),0.0,1.0)print(f可答样本{N}条分数{has.min():.3f}~{has.max():.3f}均值{has.mean():.3f})print(f不可答样本{N}条分数{none.min():.3f}~{none.max():.3f}均值{none.mean():.3f})print(f两簇重叠区可答里低于 0.45 的有{(has0.45).sum()}条f不可答里高于 0.45 的有{(none0.45).sum()}条)print()print(阈值 误拒(条) 误答(条) 转人工(条))print(---- -------- -------- ----------)thsnp.round(np.arange(0.10,0.901,0.05),2)rows[]fortinths:missint((hast).sum())# 该答被拒wrongint((nonet).sum())# 该拒被答humanint((hast).sum()(nonet).sum())rows.append((t,miss,wrong,human))print(f{t:.2f}{miss:8}{wrong:8}{human:10})print()print(按代价比选阈值总代价 误答代价×误答条数 误拒代价×误拒条数)print(代价比 最优阈值 误拒(条) 误答(条) 总代价(以误拒为 1 计))print(------ -------- -------- -------- ----------------------)forratioin(1,5,20):bestmin(rows,keylambdar:ratio*r[2]r[1])t,miss,wrong,_bestprint(f{ratio:4}:1{t:8.2f}{miss:8}{wrong:8}{ratio*wrongmiss:22})真实输出原样贴出可答样本 2000 条分数 0.051~1.000均值 0.620 不可答样本 2000 条分数 0.000~0.764均值 0.382 两簇重叠区可答里低于 0.45 的有 226 条不可答里高于 0.45 的有 588 条 阈值 误拒(条) 误答(条) 转人工(条) ---- -------- -------- ---------- 0.10 1 1977 24 0.15 1 1942 59 0.20 4 1855 149 0.25 8 1684 324 0.30 18 1467 551 0.35 40 1187 853 0.40 114 894 1220 0.45 226 588 1638 0.50 384 349 2035 0.55 607 187 2420 0.60 873 89 2784 0.65 1159 42 3117 0.70 1446 14 3432 0.75 1664 3 3661 0.80 1816 0 3816 0.85 1901 0 3901 0.90 1956 0 3956 按代价比选阈值总代价 误答代价×误答条数 误拒代价×误拒条数 代价比 最优阈值 误拒(条) 误答(条) 总代价(以误拒为 1 计) ------ -------- -------- -------- ---------------------- 1:1 0.50 384 349 733 5:1 0.60 873 89 1318 20:1 0.75 1664 3 17242.1 读这张表阈值一动两边同时疼0.10 那一行是最该被看见的2000 条「库里没有」的请求里1977 条被直接答了。没有这道闸门时系统的默认行为就是「几乎全答」因为检索永远会返回一个 top1哪怕它只有 0.05 分。0.90 那一行是另一个极端1956 条该答的被拒转人工 3956 条——等于把整个问答退化成人工客服。中间没有一个「两全」的点。0.45 时误拒 226 条、误答 588 条这两个数在 2000 的样本里分别是 11% 和 29% 左右谁也吃不掉谁。原因是结构性的两类分数分布重叠0.45 附近可答的 226 条和不可答的 588 条挤在同一个区间里靠分数分不开。所以阈值不是按「分数看起来低不低」定的是按两类错误各自的代价定的。2.2 代价比换一次阈值要挪 0.25同一个脚本只改一行系数最优阈值就从 0.50 挪到 0.60 再到 0.75误答代价 : 误拒代价最优阈值误拒条数误答条数总代价以误拒为 1 计1 : 10.503843497335 : 10.6087389131820 : 10.75166431724这张表真正想说的是代价换到了哪里从 1:1 走到 20:1误答从 349 条压到 3 条代价是误拒从 384 条涨到 1664 条——多拒了 1280 条本该能答的问题。如果排队接这些转人工请求的只有一个客服这个阈值定得再正确也没法落地。落地动作只有一句把「一条误答赔多少、一条误拒多花多少人工」写成一行算式让业务方签字然后这个数字才能变成配置里的阈值。没有人签字的阈值一定会在第一次投诉时被随手改掉。2.3 转人工是这道闸门的另一半表里还有一列容易被忽略转人工条数。阈值 0.50 时是 2035 条超过样本总量的一半。这个数必须提前想清楚——阈值以下不是「丢弃」是「换个通道」。如果下游没有人接这道闸门的实际效果就是把 2035 个问题变成 2035 条「抱歉」,那和直接答错相比只是把错误从内容层挪到了体验层。还有一条不能抄不同 embedding 模型、不同归一化方式、不同切块长度下同一个 0.5 不是同一个东西。别人项目里验过的 0.72搬到你的索引上可能刚好落在两簇重叠最厉害的位置。阈值必须在你自己的索引上重新标定标定样本至少覆盖「有答案」和「没答案」两类各 100 条以上。三、第二道支撑闸门——拦的是「检索到了但答案没用到」第一道放行之后进来的请求有一个共同点检索块确实和问题相关。但相关不等于被用上。模型完全可能读了一条相关文档然后用自己的记忆补出一段——块是对的答案是编的这类错误第一道闸门一条也拦不住。第二道闸门要回答的问题很朴素答案里的这句话能不能在检索块里找到出处。 实测环境Python 3.13.12 / macOS / 仅标准库 random固定随机种子 20261028实验 B支撑闸门 —— 用字符二元组重叠度判断「答案句能否在检索块里找到出处」。importrandom random.seed(20261028)MODELS[Q7,Q9,K3,K5,R9,R2]LABEL[官方续航,量程,并发上限]UNIT[公里,帕,个连接]TAIL[快充 30 分钟补到八成,精度正负百分之一,默认空口速率 1200 兆]defgrams(s):s.join(cforcinsifc.strip())return{s[i:i2]foriinrange(len(s)-1)}defsupport(ans,block):agrams(ans)returnlen(agrams(block))/len(a)ifaelse0.0PARA[(官方续航,标称续航),(快充,快速充电),(补到八成,充至八成),(量程,测量范围),(精度正负百分之一,误差约百分之一),(并发上限,最大并发数),(默认空口速率,空口速率默认)]defpara(s):fora,binPARA:ss.replace(a,b)returns grd,un_num,un_topic,un_free[],[],[],[]foriinrange(300):j,mi%3,MODELS[i%6]arandom.randint(100*(j1),300*(j3))blockf{m}{LABEL[j]}{a}{UNIT[j]}{TAIL[j]}grd.append((block,para(block)))un_num.append((block,block.replace(str(a),str(a140))))un_topic.append((block,para(block.replace(str(a),str(a140)))建议按此选型))un_free.append((block,建议采购前与厂商确认接口兼容性必要时安排一次联调))defsc(pairs):return[support(ans,blk)forblk,ansinpairs]s_grd,s_num,s_topic,s_freesc(grd),sc(un_num),sc(un_topic),sc(un_free)print(各类答案与检索块的支撑分字符二元组重叠占比300 条/类)forname,sin((有支撑·转述真答案,s_grd),(无支撑·照抄只换数字,s_num),(无支撑·转述但事实错,s_topic),(无支撑·完全不引用块,s_free)):print(f{name}均值{sum(s)/len(s):.3f}最低{min(s):.3f}最高{max(s):.3f})print()print(支撑阈值 拦掉无支撑 (换数字/转述错/不引用) 误伤有支撑 净拦)print(-------- ---------- ----------------------- ---------- ----)best_t,best_net,best_hit,best_hurt0.0,-1,0,0forkinrange(13):tround(0.05*k,2)cnsum(1forsins_numifst)ctsum(1forsins_topicifst)cfsum(1forsins_freeifst)hitcnctcf hurtsum(1forsins_grdifst)ifhit-hurtbest_net:best_t,best_net,best_hit,best_hurtt,hit-hurt,hit,hurtprint(f{t:8.2f}{hit:10}({cn:3}/{ct:3}/{cf:3}){hurt:10}{hit-hurt:4})print()print(f净拦峰值在阈值{best_t:.2f}拦掉{best_hit}条、误伤{best_hurt}条、净得{best_net}条)print(f再抬到 0.60拦掉多{300300-best_hit}条误伤多 f{sum(1forsins_grdifs0.60)-best_hurt}条净得反而降到 f{600-sum(1forsins_grdifs0.60)}条)print(f「照抄只换数字」支撑分最低{min(s_num):.3f}高于全部真答案的最高分{max(s_grd):.3f}f全表从未被拦下)真实输出原样贴出各类答案与检索块的支撑分字符二元组重叠占比300 条/类 有支撑·转述真答案 均值 0.571 最低 0.438 最高 0.680 无支撑·照抄只换数字 均值 0.849 最低 0.765 最高 0.955 无支撑·转述但事实错 均值 0.343 最低 0.240 最高 0.469 无支撑·完全不引用块 均值 0.000 最低 0.000 最高 0.000 支撑阈值 拦掉无支撑 (换数字/转述错/不引用) 误伤有支撑 净拦 -------- ---------- ----------------------- ---------- ---- 0.00 0 ( 0/ 0/ 0) 0 0 0.05 300 ( 0/ 0/300) 0 300 0.10 300 ( 0/ 0/300) 0 300 0.15 300 ( 0/ 0/300) 0 300 0.20 300 ( 0/ 0/300) 0 300 0.25 336 ( 0/ 36/300) 0 336 0.30 400 ( 0/100/300) 0 400 0.35 496 ( 0/196/300) 0 496 0.40 500 ( 0/200/300) 0 500 0.45 534 ( 0/234/300) 1 533 0.50 600 ( 0/300/300) 78 522 0.55 600 ( 0/300/300) 101 499 0.60 600 ( 0/300/300) 200 400 净拦峰值在阈值 0.45拦掉 534 条、误伤 1 条、净得 533 条 再抬到 0.60拦掉多 66 条误伤多 199 条净得反而降到 400 条 「照抄只换数字」支撑分最低 0.765高于全部真答案的最高分 0.680全表从未被拦下3.1 这道闸门的上限藏在最后一行最后一行是整篇最关键的数字「照抄只换数字」这一类的支撑分最低 0.765高于全部真答案的最高分 0.680。也就是说最该被拦的那一类拿到的是全表最高的分——闸门不但拦不住它还会给它盖章放行。原因不难理解。真答案是转述的把「官方续航」说成「标称续航」把「补到八成」说成「充至八成」措辞一变二元组就对不上重叠分掉到 0.438~0.680。而「照抄句子换掉一个数字」的答案除了那个数字其余措辞与检索块逐字相同重叠分反而冲到 0.849。越像幻觉的答案字面上越像原文。答案类型支撑分均值区间这道闸门能否拦下有支撑·转述真答案0.5710.438 ~ 0.680——不该拦无支撑·照抄只换数字0.8490.765 ~ 0.955拦不下分数全场最高无支撑·转述但事实错0.3430.240 ~ 0.469与真答案下沿重叠提阈值会连真答案一起拦无支撑·完全不引用块0.0000.000低阈值即可拦干净3.2 净拦峰值之后每一个百分点都是拿真答案换的阈值从 0.45 抬到 0.60拦掉的多 66 条误伤多 199 条净得从 533 掉到 400。这道闸门单独用最优工作点在 0.45 附近也就到此为止了。它能提供的价值其实只有「完全不引用块」这一类——阈值 0.05 就已经拦干净了 300 条。剩下的部分是在用真答案换假答案而且换得越来越亏。所以这道闸门的落地动作要收窄它只做兜底负责「整段没引用」这种情况不要指望它抓数字错误。数字对不对得靠字段级校验——把答案里的数字、型号、日期抽出来逐条回检索块里做精确匹配匹配不上就直接打回。这两件事不能互相替代重叠度看的是措辞字段校验看的是值。3.3 没有它第一道闸门会白干反过来看如果没有这道闸门第一道闸门放行的每一条相关块都可能是「块对、答案编」的入口。检索做得越好块越相关模型越容易借题发挥——因为相关的块给了它足够的话题词让它编得像。第二章那个 0.31 分的例子是第一道该拦的而 0.62 分、内容相关、答案却换了数字的情况只有这一道能碰一下。两者串联的顺序不能反先按分数定「有没有料」再按支撑定「有没有用」。顺序反了支撑闸门就要同时面对「块无关」和「答案没引用」两种情形误伤会成倍上去——因为无关块上本来就该拒答的请求会被判成「无支撑」和真正的幻觉混在同一堆里分不出来。四、第三、四道一致性闸门与出口话术前两道都过了还有一类错误会漏过去单条答案有支撑、分数也够但换个问法就换一个答案。这类错误在单次请求里看不出来只有在同一问题被问两次时才暴露。第三道闸门做的就是这个比对同一问题用两种问法或打乱检索块顺序各生成一次抽出答案里的关键实体——数字、型号、日期、专有名词——逐项比对。不一致就降级为拒答。4.1 一致性闸门为什么必须排在支撑之后有个容易踩的坑一致性闸门会奖励「稳定地编同一个错」。如果两次生成都在编而且编得一样这道闸门给出的结论是「一致放行」。所以它必须排第三先由第二道确认答案是从块里来的再由这一道确认从块里来的答案是否稳定。顺序颠倒一致性的假阳性会高得没法用。同理比对的对象只能是关键实体不能是语义相似度——两段语义很像但数字不同的答案恰恰是最危险的那一类用语义相似度去比会把它们判成一致。这道闸门还有个前提条件两次生成要能走出不同的路径。要么带一点采样随机性要么换一种问法让检索命中不同的块。如果温度贴着 0、问法一字不改、检索结果也完全一样两次答案通常高度重合这道闸门等于没开——它测不出东西不是因为答案对而是因为输入没变。4.2 出口话术拒答要给「缺什么」不是给「不知道」前三道闸门拦下来的请求最后都要经过第四道以什么形式交还给用户。Anthropic 在《Reduce hallucinations》里给的第一条做法就是给模型「承认不知道」的许可原文是Allow Claude to say “I don’t know”: Explicitly give Claude permission to admit uncertainty. This technique can drastically reduce false information.同一篇文档还给了可以直接抄进提示词的句式If you’re unsure about any aspect or if the report lacks necessary information, say “I don’t have enough information to confidently assess this.”这句话解决的是「模型不敢说不知道」的问题但它只解决表达不解决判定——模型觉得自己不确定才用得上这句许可。而前面那个 0.31 分的例子说明模型经常并不觉得自己不确定。这就是为什么话术必须排在最后一道它不能替代前面三道判定。落地的话术结构建议三段第一句说清缺什么「现有文档里没有 R9 的并发参数只有安装步骤」第二句给出确实查到的相近信息「同一份文档里提到了默认空口速率」第三句给出下一步「需要我帮你把这个问题转给技术支持吗」。「抱歉我无法回答」是最差的一种用户既不知道缺什么也不知道该找谁只会再问一遍或者直接投诉。4.3 官方自己写的局限正好是这套闸门的边界Anthropic 在同一篇文档里明确写了这些做法的边界although these techniques significantly reduce hallucinations, they don’t eliminate them entirely. Always validate critical information, especially for high-stakes decisions.这句必须原样保留提示词层包括「允许说不知道」和「要求引用」只是第一道闸门不是全部。它降低的是「模型明知不确定还硬答」的那部分管不了「模型确信自己知道但其实错了」的那部分——而后面这一类只能靠检索分数、支撑校验、字段比对这些外部机制去拦。这一章用到的提示词模板与验收清单把拒答话术的三段式模板、字段校验的抽取规则整理成了一份可抄的清单另外也放了 RAG 相关的官方文档与实战视频。扫码即可获取五、这套闸门的最小基建以及谁为「拒错了」负责四道闸门能不能跑起来取决于一件事每次请求的判决有没有被记下来。没有日志阈值只能靠猜误拒也没人知道。最小基建是每条请求落五个字段查询原文、top1 检索分数、支撑分、四道闸门的判决哪一道拦的、最终出口直答 / 转人工 / 拒答。有了这五列任何一次阈值调整都能在一周后拿数据回看没有这五列调阈值就是每次都在盲改。闸门拦截目标落地动作没有它会怎样1 检索分数库里根本没有分数低于阈值转人工不生成0.10 阈值下2000 条「库里没有」里 1977 条被直接答了2 支撑检索到了但答案没用到支撑分低于 0.45 打回重写数字走字段校验句式照抄、只换一个数字读者查不出来3 一致性同一问题两次答案实体不一致抽数字/型号/日期逐项比对不一致降级拒答单条看着都对换个问法换一个答案4 出口话术拒答变成哑巴三段式缺什么 / 查到了什么 / 下一步找谁用户被拒但不知道补什么直接转投诉5.1 谁为「拒错了」负责这张表最后要落到人。四道闸门分属不同的 owner出事的时候不能互相推第一道的阈值归检索/索引的人。重建索引、换 embedding、改切块长度都必须重新标定标定样本要留档。索引一改阈值不动是最常见的翻车方式。第二、三道的判据归应用层的人。支撑分怎么算、字段怎么抽、比对哪些实体这些是代码里的逻辑改一次要跑回归。第四道的话术归业务或客服的人。用户被拒之后去哪儿只有他们知道。技术团队写的话术通常是「无法回答」业务团队写的是「我帮你转给谁」。误拒的申诉通道归业务。这一条最容易被漏掉误答有人投诉误拒没人投诉——用户被拒一次就走了。所以误拒必须自己有出口比如「这个回答不对/漏了」的按钮把被拒的请求原样落库每周抽样看有多少是真该答的。5.2 什么时候该停手有一个信号说明闸门已经到极限了在你能接受的代价比下最优阈值对应的误拒条数已经超过下游能接的人工量。用第二章的数如果业务只能承接 800 条转人工那么 5:1 的代价比误拒 873 条已经超了20:11664 条更不可能。这时候继续抬阈值不是治理是把问题从「答错」搬到「没人接」。正确的动作是回到检索本身补语料、改切块、加同义改写把「可答」那一簇的分数整体推高让两簇分得更开——分布分得越开同一个代价比下的误拒就越少。闸门治不了「库里就是没有」这件事。它只能保证没有的时候系统会说没有。这篇的验收清单与阈值标定脚本把四道闸门的检查项、阈值标定所需的样本口径整理成了一份清单配合 RAG 实战视频看更省事。扫码即可获取附表 A本文引用事实与出处对照表事实出处本文位置「允许模型说不知道」可以大幅减少虚假信息Allow Claude to say “I don’t know”: Explicitly give Claude permission to admit uncertainty. This technique can drastically reduce false information.《Reduce hallucinations》Anthropic 官方文档https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations第 4 章官方给出的不确定表达句式If you’re unsure about any aspect or if the report lacks necessary information, say “I don’t have enough information to confidently assess this.”同上第 4 章长文档任务先抽取原文引文再做后续处理Use direct quotes for factual grounding … ask Claude to extract word-for-word quotes first before performing its task.同上第 4 章要求逐条标注引文与来源Verify with citations: Make Claude’s response auditable by having it cite quotes and sources for each of its claims.同上第 4 章上述做法的局限although these techniques significantly reduce hallucinations, they don’t eliminate them entirely. Always validate critical information, especially for high-stakes decisions.同上第 4 章两类分数分布各 2000 条重叠下扫阈值 0.10~0.900.10 时误答 1977 条代价比 1:1 / 5:1 / 20:1 对应最优阈值 0.50 / 0.60 / 0.75本文实测脚本work/exp1028/e04_thresh.py种子 20261028第 2 章支撑闸门字符二元组重叠扫描 0~0.60净拦峰值在 0.45拦 534 / 误伤 1「照抄只换数字」支撑分最低 0.765高于真答案最高 0.680本文实测脚本work/exp1028/e04_support.py种子 20261028第 3 章口径两个实验均为合成数据用于说明两类错误的交换关系与单道闸门的判定上限分布形态不代表任何线上服务的真实分布阈值落地前须在自有索引上重新标定。截至 2026-10-28上述引用内容与官方页面一致。写在最后这篇用到的资料写这篇文章时把相关的官方文档和源码又翻了一遍顺手也整理了几份配套的东西大模型学习路线图从零基础到能自己动手做 Agent按阶段说明每一步该学什么、哪些可以先跳过《LangChain LangGraph MCP 智能体开发实战》视频课7 个模块从私有化部署、EmbeddingRAG 到 MCPAgent 全流程AI 大模型知识库在线可查Agent Skills 从入门到落地、Claude Skills 完全指南等专题按目录浏览即可640 套 AI 大模型行业报告 经典 PDF 书籍看行业落地案例和别人怎么做的时候用得上大模型零基础到精通教学视频跟着敲一遍比只读文档快得多资料是我自己整理的放在下面这个码上扫码即可获取添加时备注「AI」优先通过。资料按「先路线、再动手、最后查漏」的顺序整理好了建议先看学习路线那一份照着它挑一条适合自己当前基础的路径再往下看。
版权与内容来源声明本文为原创整理。文中涉及官方文档、开源仓库、论文与公开报道的内容均在附表 A 中标注来源引用官方原文保持原样不作改写。文中命令、版本号与界面截图以本文成文时的实测/核验结果为准标注「待验证」的部分请以你本地环境实际输出为判断依据。本文不推荐任何不合规的软件获取方式也不对任何收益结果作承诺。转载请注明出处。一、先看现场检索一条没命中它照样编了一段合格答案周一上午十点客服在群里贴了一张截图。用户问「R9 路由器的并发上限是多少」回答是型号对得上数字带单位后面跟了一句「如果并发接近这个值建议在网关侧开启限流」还分了三点。整段读下来没有任何可疑的地方读起来像从产品手册里摘的。实际情况是索引里关于 R9 只有一份安装说明通篇没有出现过「并发」两个字。检索确实返回了这一条top1 相似度 0.31。当时系统里没有阈值这个概念0.31 就被当成「找到了」。模型没有说「文档里没有」。它按文档的语气写了一段数字填的是 512单位是「个连接」和它见过的同类设备参数长得一样。这段答案后来被复制进了客户工单两天后才有人发现原始文档里根本没这个数。1.1 格式合格才是最坏的伪装乱码会被当场发现格式合格的答案不会。一段有型号、有数字、有单位、有建议的回答读者的第一反应是「查到了」而不是「它是不是编的」。幻觉真正造成损失的那一步不是生成是被当成事实使用。这也是拒答这件事难做的原因它要对抗的不是模型的错误而是人对「通顺」的默认信任。1.2 四道闸门不是并列的四件事很多团队做拒答是把几件事并列着做加一句「不确定就说不确定」的提示词设一个相似度阈值再加一个「答案要点引用」的要求。三件事都做了效果仍然不稳定因为它们是流水线不是清单。顺序是这样的第一道先确认「库里到底有没有」把「根本没有」的那批挡在外面第二道再看「答案有没有用上检索到的内容」把「块对了但答案自己编」的挡在外面第三道比对「同一问题两次答案的实体是否一致」把「单条看不出、换个问法就变」的挡在外面第四道才轮到话术决定被拦下来的请求以什么形式交还给用户。后一道的前提是前一道已经清掉了某一类错误。第一道不拦后面三道全部失效——因为支撑和一致性检查的都是「答案与检索块的关系」当块本身无关时它们会反过来给出「一致」「有支撑」的假阳性。下面按这个顺序拆。二、第一道检索分数闸门——拦的是「库里根本没有」这道闸门是唯一能拦「库里没有」的闸门而「库里没有」恰恰是幻觉最主要的来源。它的判据只有一个检索分数低于阈值就不许生成。阈值该定在哪不能凭感觉。下面这段脚本用 numpy 造两类分数分布——一类是库里真有答案的一类是库里没有的——让它们刻意重叠然后扫一遍阈值看两类错误怎么换。 实测环境Python 3.13.12 / macOS / numpy 2.5.4固定随机种子 20261028无计时函数实验 A检索分数阈值扫描 —— 误拒、误答与转人工量固定种子可复现。importnumpyasnp rngnp.random.default_rng(20261028)N2000# 可答库里真有答案分数偏高不可答库里没有分数偏低。两簇刻意重叠。hasnp.clip(rng.normal(0.62,0.14,N),0.0,1.0)nonenp.clip(rng.normal(0.38,0.13,N),0.0,1.0)print(f可答样本{N}条分数{has.min():.3f}~{has.max():.3f}均值{has.mean():.3f})print(f不可答样本{N}条分数{none.min():.3f}~{none.max():.3f}均值{none.mean():.3f})print(f两簇重叠区可答里低于 0.45 的有{(has0.45).sum()}条f不可答里高于 0.45 的有{(none0.45).sum()}条)print()print(阈值 误拒(条) 误答(条) 转人工(条))print(---- -------- -------- ----------)thsnp.round(np.arange(0.10,0.901,0.05),2)rows[]fortinths:missint((hast).sum())# 该答被拒wrongint((nonet).sum())# 该拒被答humanint((hast).sum()(nonet).sum())rows.append((t,miss,wrong,human))print(f{t:.2f}{miss:8}{wrong:8}{human:10})print()print(按代价比选阈值总代价 误答代价×误答条数 误拒代价×误拒条数)print(代价比 最优阈值 误拒(条) 误答(条) 总代价(以误拒为 1 计))print(------ -------- -------- -------- ----------------------)forratioin(1,5,20):bestmin(rows,keylambdar:ratio*r[2]r[1])t,miss,wrong,_bestprint(f{ratio:4}:1{t:8.2f}{miss:8}{wrong:8}{ratio*wrongmiss:22})真实输出原样贴出可答样本 2000 条分数 0.051~1.000均值 0.620 不可答样本 2000 条分数 0.000~0.764均值 0.382 两簇重叠区可答里低于 0.45 的有 226 条不可答里高于 0.45 的有 588 条 阈值 误拒(条) 误答(条) 转人工(条) ---- -------- -------- ---------- 0.10 1 1977 24 0.15 1 1942 59 0.20 4 1855 149 0.25 8 1684 324 0.30 18 1467 551 0.35 40 1187 853 0.40 114 894 1220 0.45 226 588 1638 0.50 384 349 2035 0.55 607 187 2420 0.60 873 89 2784 0.65 1159 42 3117 0.70 1446 14 3432 0.75 1664 3 3661 0.80 1816 0 3816 0.85 1901 0 3901 0.90 1956 0 3956 按代价比选阈值总代价 误答代价×误答条数 误拒代价×误拒条数 代价比 最优阈值 误拒(条) 误答(条) 总代价(以误拒为 1 计) ------ -------- -------- -------- ---------------------- 1:1 0.50 384 349 733 5:1 0.60 873 89 1318 20:1 0.75 1664 3 17242.1 读这张表阈值一动两边同时疼0.10 那一行是最该被看见的2000 条「库里没有」的请求里1977 条被直接答了。没有这道闸门时系统的默认行为就是「几乎全答」因为检索永远会返回一个 top1哪怕它只有 0.05 分。0.90 那一行是另一个极端1956 条该答的被拒转人工 3956 条——等于把整个问答退化成人工客服。中间没有一个「两全」的点。0.45 时误拒 226 条、误答 588 条这两个数在 2000 的样本里分别是 11% 和 29% 左右谁也吃不掉谁。原因是结构性的两类分数分布重叠0.45 附近可答的 226 条和不可答的 588 条挤在同一个区间里靠分数分不开。所以阈值不是按「分数看起来低不低」定的是按两类错误各自的代价定的。2.2 代价比换一次阈值要挪 0.25同一个脚本只改一行系数最优阈值就从 0.50 挪到 0.60 再到 0.75误答代价 : 误拒代价最优阈值误拒条数误答条数总代价以误拒为 1 计1 : 10.503843497335 : 10.6087389131820 : 10.75166431724这张表真正想说的是代价换到了哪里从 1:1 走到 20:1误答从 349 条压到 3 条代价是误拒从 384 条涨到 1664 条——多拒了 1280 条本该能答的问题。如果排队接这些转人工请求的只有一个客服这个阈值定得再正确也没法落地。落地动作只有一句把「一条误答赔多少、一条误拒多花多少人工」写成一行算式让业务方签字然后这个数字才能变成配置里的阈值。没有人签字的阈值一定会在第一次投诉时被随手改掉。2.3 转人工是这道闸门的另一半表里还有一列容易被忽略转人工条数。阈值 0.50 时是 2035 条超过样本总量的一半。这个数必须提前想清楚——阈值以下不是「丢弃」是「换个通道」。如果下游没有人接这道闸门的实际效果就是把 2035 个问题变成 2035 条「抱歉」,那和直接答错相比只是把错误从内容层挪到了体验层。还有一条不能抄不同 embedding 模型、不同归一化方式、不同切块长度下同一个 0.5 不是同一个东西。别人项目里验过的 0.72搬到你的索引上可能刚好落在两簇重叠最厉害的位置。阈值必须在你自己的索引上重新标定标定样本至少覆盖「有答案」和「没答案」两类各 100 条以上。三、第二道支撑闸门——拦的是「检索到了但答案没用到」第一道放行之后进来的请求有一个共同点检索块确实和问题相关。但相关不等于被用上。模型完全可能读了一条相关文档然后用自己的记忆补出一段——块是对的答案是编的这类错误第一道闸门一条也拦不住。第二道闸门要回答的问题很朴素答案里的这句话能不能在检索块里找到出处。 实测环境Python 3.13.12 / macOS / 仅标准库 random固定随机种子 20261028实验 B支撑闸门 —— 用字符二元组重叠度判断「答案句能否在检索块里找到出处」。importrandom random.seed(20261028)MODELS[Q7,Q9,K3,K5,R9,R2]LABEL[官方续航,量程,并发上限]UNIT[公里,帕,个连接]TAIL[快充 30 分钟补到八成,精度正负百分之一,默认空口速率 1200 兆]defgrams(s):s.join(cforcinsifc.strip())return{s[i:i2]foriinrange(len(s)-1)}defsupport(ans,block):agrams(ans)returnlen(agrams(block))/len(a)ifaelse0.0PARA[(官方续航,标称续航),(快充,快速充电),(补到八成,充至八成),(量程,测量范围),(精度正负百分之一,误差约百分之一),(并发上限,最大并发数),(默认空口速率,空口速率默认)]defpara(s):fora,binPARA:ss.replace(a,b)returns grd,un_num,un_topic,un_free[],[],[],[]foriinrange(300):j,mi%3,MODELS[i%6]arandom.randint(100*(j1),300*(j3))blockf{m}{LABEL[j]}{a}{UNIT[j]}{TAIL[j]}grd.append((block,para(block)))un_num.append((block,block.replace(str(a),str(a140))))un_topic.append((block,para(block.replace(str(a),str(a140)))建议按此选型))un_free.append((block,建议采购前与厂商确认接口兼容性必要时安排一次联调))defsc(pairs):return[support(ans,blk)forblk,ansinpairs]s_grd,s_num,s_topic,s_freesc(grd),sc(un_num),sc(un_topic),sc(un_free)print(各类答案与检索块的支撑分字符二元组重叠占比300 条/类)forname,sin((有支撑·转述真答案,s_grd),(无支撑·照抄只换数字,s_num),(无支撑·转述但事实错,s_topic),(无支撑·完全不引用块,s_free)):print(f{name}均值{sum(s)/len(s):.3f}最低{min(s):.3f}最高{max(s):.3f})print()print(支撑阈值 拦掉无支撑 (换数字/转述错/不引用) 误伤有支撑 净拦)print(-------- ---------- ----------------------- ---------- ----)best_t,best_net,best_hit,best_hurt0.0,-1,0,0forkinrange(13):tround(0.05*k,2)cnsum(1forsins_numifst)ctsum(1forsins_topicifst)cfsum(1forsins_freeifst)hitcnctcf hurtsum(1forsins_grdifst)ifhit-hurtbest_net:best_t,best_net,best_hit,best_hurtt,hit-hurt,hit,hurtprint(f{t:8.2f}{hit:10}({cn:3}/{ct:3}/{cf:3}){hurt:10}{hit-hurt:4})print()print(f净拦峰值在阈值{best_t:.2f}拦掉{best_hit}条、误伤{best_hurt}条、净得{best_net}条)print(f再抬到 0.60拦掉多{300300-best_hit}条误伤多 f{sum(1forsins_grdifs0.60)-best_hurt}条净得反而降到 f{600-sum(1forsins_grdifs0.60)}条)print(f「照抄只换数字」支撑分最低{min(s_num):.3f}高于全部真答案的最高分{max(s_grd):.3f}f全表从未被拦下)真实输出原样贴出各类答案与检索块的支撑分字符二元组重叠占比300 条/类 有支撑·转述真答案 均值 0.571 最低 0.438 最高 0.680 无支撑·照抄只换数字 均值 0.849 最低 0.765 最高 0.955 无支撑·转述但事实错 均值 0.343 最低 0.240 最高 0.469 无支撑·完全不引用块 均值 0.000 最低 0.000 最高 0.000 支撑阈值 拦掉无支撑 (换数字/转述错/不引用) 误伤有支撑 净拦 -------- ---------- ----------------------- ---------- ---- 0.00 0 ( 0/ 0/ 0) 0 0 0.05 300 ( 0/ 0/300) 0 300 0.10 300 ( 0/ 0/300) 0 300 0.15 300 ( 0/ 0/300) 0 300 0.20 300 ( 0/ 0/300) 0 300 0.25 336 ( 0/ 36/300) 0 336 0.30 400 ( 0/100/300) 0 400 0.35 496 ( 0/196/300) 0 496 0.40 500 ( 0/200/300) 0 500 0.45 534 ( 0/234/300) 1 533 0.50 600 ( 0/300/300) 78 522 0.55 600 ( 0/300/300) 101 499 0.60 600 ( 0/300/300) 200 400 净拦峰值在阈值 0.45拦掉 534 条、误伤 1 条、净得 533 条 再抬到 0.60拦掉多 66 条误伤多 199 条净得反而降到 400 条 「照抄只换数字」支撑分最低 0.765高于全部真答案的最高分 0.680全表从未被拦下3.1 这道闸门的上限藏在最后一行最后一行是整篇最关键的数字「照抄只换数字」这一类的支撑分最低 0.765高于全部真答案的最高分 0.680。也就是说最该被拦的那一类拿到的是全表最高的分——闸门不但拦不住它还会给它盖章放行。原因不难理解。真答案是转述的把「官方续航」说成「标称续航」把「补到八成」说成「充至八成」措辞一变二元组就对不上重叠分掉到 0.438~0.680。而「照抄句子换掉一个数字」的答案除了那个数字其余措辞与检索块逐字相同重叠分反而冲到 0.849。越像幻觉的答案字面上越像原文。答案类型支撑分均值区间这道闸门能否拦下有支撑·转述真答案0.5710.438 ~ 0.680——不该拦无支撑·照抄只换数字0.8490.765 ~ 0.955拦不下分数全场最高无支撑·转述但事实错0.3430.240 ~ 0.469与真答案下沿重叠提阈值会连真答案一起拦无支撑·完全不引用块0.0000.000低阈值即可拦干净3.2 净拦峰值之后每一个百分点都是拿真答案换的阈值从 0.45 抬到 0.60拦掉的多 66 条误伤多 199 条净得从 533 掉到 400。这道闸门单独用最优工作点在 0.45 附近也就到此为止了。它能提供的价值其实只有「完全不引用块」这一类——阈值 0.05 就已经拦干净了 300 条。剩下的部分是在用真答案换假答案而且换得越来越亏。所以这道闸门的落地动作要收窄它只做兜底负责「整段没引用」这种情况不要指望它抓数字错误。数字对不对得靠字段级校验——把答案里的数字、型号、日期抽出来逐条回检索块里做精确匹配匹配不上就直接打回。这两件事不能互相替代重叠度看的是措辞字段校验看的是值。3.3 没有它第一道闸门会白干反过来看如果没有这道闸门第一道闸门放行的每一条相关块都可能是「块对、答案编」的入口。检索做得越好块越相关模型越容易借题发挥——因为相关的块给了它足够的话题词让它编得像。第二章那个 0.31 分的例子是第一道该拦的而 0.62 分、内容相关、答案却换了数字的情况只有这一道能碰一下。两者串联的顺序不能反先按分数定「有没有料」再按支撑定「有没有用」。顺序反了支撑闸门就要同时面对「块无关」和「答案没引用」两种情形误伤会成倍上去——因为无关块上本来就该拒答的请求会被判成「无支撑」和真正的幻觉混在同一堆里分不出来。四、第三、四道一致性闸门与出口话术前两道都过了还有一类错误会漏过去单条答案有支撑、分数也够但换个问法就换一个答案。这类错误在单次请求里看不出来只有在同一问题被问两次时才暴露。第三道闸门做的就是这个比对同一问题用两种问法或打乱检索块顺序各生成一次抽出答案里的关键实体——数字、型号、日期、专有名词——逐项比对。不一致就降级为拒答。4.1 一致性闸门为什么必须排在支撑之后有个容易踩的坑一致性闸门会奖励「稳定地编同一个错」。如果两次生成都在编而且编得一样这道闸门给出的结论是「一致放行」。所以它必须排第三先由第二道确认答案是从块里来的再由这一道确认从块里来的答案是否稳定。顺序颠倒一致性的假阳性会高得没法用。同理比对的对象只能是关键实体不能是语义相似度——两段语义很像但数字不同的答案恰恰是最危险的那一类用语义相似度去比会把它们判成一致。这道闸门还有个前提条件两次生成要能走出不同的路径。要么带一点采样随机性要么换一种问法让检索命中不同的块。如果温度贴着 0、问法一字不改、检索结果也完全一样两次答案通常高度重合这道闸门等于没开——它测不出东西不是因为答案对而是因为输入没变。4.2 出口话术拒答要给「缺什么」不是给「不知道」前三道闸门拦下来的请求最后都要经过第四道以什么形式交还给用户。Anthropic 在《Reduce hallucinations》里给的第一条做法就是给模型「承认不知道」的许可原文是Allow Claude to say “I don’t know”: Explicitly give Claude permission to admit uncertainty. This technique can drastically reduce false information.同一篇文档还给了可以直接抄进提示词的句式If you’re unsure about any aspect or if the report lacks necessary information, say “I don’t have enough information to confidently assess this.”这句话解决的是「模型不敢说不知道」的问题但它只解决表达不解决判定——模型觉得自己不确定才用得上这句许可。而前面那个 0.31 分的例子说明模型经常并不觉得自己不确定。这就是为什么话术必须排在最后一道它不能替代前面三道判定。落地的话术结构建议三段第一句说清缺什么「现有文档里没有 R9 的并发参数只有安装步骤」第二句给出确实查到的相近信息「同一份文档里提到了默认空口速率」第三句给出下一步「需要我帮你把这个问题转给技术支持吗」。「抱歉我无法回答」是最差的一种用户既不知道缺什么也不知道该找谁只会再问一遍或者直接投诉。4.3 官方自己写的局限正好是这套闸门的边界Anthropic 在同一篇文档里明确写了这些做法的边界although these techniques significantly reduce hallucinations, they don’t eliminate them entirely. Always validate critical information, especially for high-stakes decisions.这句必须原样保留提示词层包括「允许说不知道」和「要求引用」只是第一道闸门不是全部。它降低的是「模型明知不确定还硬答」的那部分管不了「模型确信自己知道但其实错了」的那部分——而后面这一类只能靠检索分数、支撑校验、字段比对这些外部机制去拦。这一章用到的提示词模板与验收清单把拒答话术的三段式模板、字段校验的抽取规则整理成了一份可抄的清单另外也放了 RAG 相关的官方文档与实战视频。扫码即可获取五、这套闸门的最小基建以及谁为「拒错了」负责四道闸门能不能跑起来取决于一件事每次请求的判决有没有被记下来。没有日志阈值只能靠猜误拒也没人知道。最小基建是每条请求落五个字段查询原文、top1 检索分数、支撑分、四道闸门的判决哪一道拦的、最终出口直答 / 转人工 / 拒答。有了这五列任何一次阈值调整都能在一周后拿数据回看没有这五列调阈值就是每次都在盲改。闸门拦截目标落地动作没有它会怎样1 检索分数库里根本没有分数低于阈值转人工不生成0.10 阈值下2000 条「库里没有」里 1977 条被直接答了2 支撑检索到了但答案没用到支撑分低于 0.45 打回重写数字走字段校验句式照抄、只换一个数字读者查不出来3 一致性同一问题两次答案实体不一致抽数字/型号/日期逐项比对不一致降级拒答单条看着都对换个问法换一个答案4 出口话术拒答变成哑巴三段式缺什么 / 查到了什么 / 下一步找谁用户被拒但不知道补什么直接转投诉5.1 谁为「拒错了」负责这张表最后要落到人。四道闸门分属不同的 owner出事的时候不能互相推第一道的阈值归检索/索引的人。重建索引、换 embedding、改切块长度都必须重新标定标定样本要留档。索引一改阈值不动是最常见的翻车方式。第二、三道的判据归应用层的人。支撑分怎么算、字段怎么抽、比对哪些实体这些是代码里的逻辑改一次要跑回归。第四道的话术归业务或客服的人。用户被拒之后去哪儿只有他们知道。技术团队写的话术通常是「无法回答」业务团队写的是「我帮你转给谁」。误拒的申诉通道归业务。这一条最容易被漏掉误答有人投诉误拒没人投诉——用户被拒一次就走了。所以误拒必须自己有出口比如「这个回答不对/漏了」的按钮把被拒的请求原样落库每周抽样看有多少是真该答的。5.2 什么时候该停手有一个信号说明闸门已经到极限了在你能接受的代价比下最优阈值对应的误拒条数已经超过下游能接的人工量。用第二章的数如果业务只能承接 800 条转人工那么 5:1 的代价比误拒 873 条已经超了20:11664 条更不可能。这时候继续抬阈值不是治理是把问题从「答错」搬到「没人接」。正确的动作是回到检索本身补语料、改切块、加同义改写把「可答」那一簇的分数整体推高让两簇分得更开——分布分得越开同一个代价比下的误拒就越少。闸门治不了「库里就是没有」这件事。它只能保证没有的时候系统会说没有。这篇的验收清单与阈值标定脚本把四道闸门的检查项、阈值标定所需的样本口径整理成了一份清单配合 RAG 实战视频看更省事。扫码即可获取附表 A本文引用事实与出处对照表事实出处本文位置「允许模型说不知道」可以大幅减少虚假信息Allow Claude to say “I don’t know”: Explicitly give Claude permission to admit uncertainty. This technique can drastically reduce false information.《Reduce hallucinations》Anthropic 官方文档https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations第 4 章官方给出的不确定表达句式If you’re unsure about any aspect or if the report lacks necessary information, say “I don’t have enough information to confidently assess this.”同上第 4 章长文档任务先抽取原文引文再做后续处理Use direct quotes for factual grounding … ask Claude to extract word-for-word quotes first before performing its task.同上第 4 章要求逐条标注引文与来源Verify with citations: Make Claude’s response auditable by having it cite quotes and sources for each of its claims.同上第 4 章上述做法的局限although these techniques significantly reduce hallucinations, they don’t eliminate them entirely. Always validate critical information, especially for high-stakes decisions.同上第 4 章两类分数分布各 2000 条重叠下扫阈值 0.10~0.900.10 时误答 1977 条代价比 1:1 / 5:1 / 20:1 对应最优阈值 0.50 / 0.60 / 0.75本文实测脚本work/exp1028/e04_thresh.py种子 20261028第 2 章支撑闸门字符二元组重叠扫描 0~0.60净拦峰值在 0.45拦 534 / 误伤 1「照抄只换数字」支撑分最低 0.765高于真答案最高 0.680本文实测脚本work/exp1028/e04_support.py种子 20261028第 3 章口径两个实验均为合成数据用于说明两类错误的交换关系与单道闸门的判定上限分布形态不代表任何线上服务的真实分布阈值落地前须在自有索引上重新标定。截至 2026-10-28上述引用内容与官方页面一致。写在最后这篇用到的资料写这篇文章时把相关的官方文档和源码又翻了一遍顺手也整理了几份配套的东西大模型学习路线图从零基础到能自己动手做 Agent按阶段说明每一步该学什么、哪些可以先跳过《LangChain LangGraph MCP 智能体开发实战》视频课7 个模块从私有化部署、EmbeddingRAG 到 MCPAgent 全流程AI 大模型知识库在线可查Agent Skills 从入门到落地、Claude Skills 完全指南等专题按目录浏览即可640 套 AI 大模型行业报告 经典 PDF 书籍看行业落地案例和别人怎么做的时候用得上大模型零基础到精通教学视频跟着敲一遍比只读文档快得多资料是我自己整理的放在下面这个码上扫码即可获取添加时备注「AI」优先通过。资料按「先路线、再动手、最后查漏」的顺序整理好了建议先看学习路线那一份照着它挑一条适合自己当前基础的路径再往下看。
的正确使用指南)
