前几天我在调一个文档问答机器人用户问了一句“这个系统支持的最大并发数是多少”模型给了一串看起来很专业的数字和参数。我翻了一下原始需求文档里面根本没写过这个指标——那串数字是模型自己编的。这正是大模型最常见也最难防的问题幻觉。模型不是记忆库它是在逐词预测下一个 token为了把话说得通顺连贯它会自动补出“听起来合理但并无依据”的细节。今天要聊的防御性提示就是一套专门对付这类问题的提示词设计方法核心方向有两个幻觉抑制和事实校验。这篇文章适合正在搭 AI 应用、写提示词、做知识库问答或者被模型“一本正经胡说八道”坑过的开发者。我会从幻觉的成因讲起给出四道可落地的提示防线再讲一套生成之后的校验工作流最后用完整示例说明怎么组合使用。内容偏实战每一步都能直接抄走。1. 一本正经地胡说八道幻觉是从哪冒出来的1.1 一次让我后背发凉的实测前面说到的并发数只是小场面。还有一次我让模型总结一篇技术方案它竟然在结论里加了一个“方案采用了改进后的哈希分片策略”这个策略名在原文里压根不存在。更可怕的是它补充的那段解释逻辑完全自洽光读结论根本看不出问题。我后来做了个简单测试同一个问题在不做任何防御的情况下问十次模型大概有三到四次会主动补充文档里没有的细节。这些细节不是随机乱码而是高度贴近语境的“合理推测”所以特别难识别。你要是不带着资料逐字核对很容易被它带偏。这类现象在业界统称幻觉Hallucination本质是模型生成了与输入内容或事实不一致的信息。它不只在问答场景出现摘要、翻译、代码注释里都有只是问答场景最容易被暴露。1.2 幻觉的三个主要来源要抑制幻觉先得知道它从哪来。我归纳下来主要有三条路知识截止。模型训练数据是有时间边界的训练完之后它接触不到新信息。你问它训练截止之后发生的事它只能根据旧资料“推断”一个答案。这个过程和真人猜很像猜得合理但未必正确。概率采样。生成过程本质是逐词选概率为了句子流畅模型会在低确定性区域“平滑过渡”。在概率差不多的候选词里它经常挑一个让语义更完整的补上这个补上的词就是编造的开端。对齐偏好。训练阶段模型学会了一件事语气自信的回答更容易被人类点赞。说“我不知道”在统计上不吃香于是模型倾向于用确定的语气掩盖不确定性。这是幻觉最阴险的地方——越自信越容易蒙混过关。理解了这三条你就能明白一个关键结论幻觉的本质是“输出空间没有被约束住”而不是模型变笨了。提示词的作用就是在解码之前给模型划一条清晰的边界告诉它哪些区域能走、哪些区域必须停下。1.3 为什么几行提示词就能压住幻觉很多人以为幻觉是模型能力问题得换更大的模型才能解决。实测下来提示词层面的干预往往更立竿见影。你可以把解码过程想成一个出租车司机。司机技术再好你不告诉他目的地范围他也会凭经验挑一条“最可能正确”的路。防御性提示等于在地图上划线哪些路你确认过、哪些路没有地图数据、没数据就停在原地别动。模型的能力没变但它的决策空间已经被收紧跑偏的概率自然下降。当然提示词不是万能的后面我会专门讲它防不住的情况。但作为第一道闸门它成本最低、见效最快值得我们先把基本功做扎实。2. 把“不许编”写进指令四道实用的提示防线2.1 第一道防线知识边界声明给“我不知道”留出口最容易让模型编造的是你逼它必须回答。所以防御性提示的第一件事就是明确告诉它答不上来是正常行为直接说出来不会被惩罚。我现在做知识库问答时的系统提示词开头固定有一段你是一个严格基于参考资料的问答助手。 你只能依据【参考资料】中的内容回答用户问题。 如果参考资料中没有答案或者信息不足请直接回答 “根据当前资料我无法确认这一点。” 禁止自行补充、推测、联想禁止编造参考资料中不存在的 数字、日期、名称、结论。这段指令看起来朴素但作用非常直接。它给了模型一个“合法出口”模型在不确定时就不再需要靠编一个答案来维持对话完整性了。这里有个实操细节你光写“不要编造”不够最好写清楚“不知道时具体说什么话”。因为“不要编造”是个抽象禁令模型不知道该往哪走而“根据当前资料我无法确认这一点”是个具体行为模型可以直接执行。抽象禁令加具体出口效果完全不一样。2.2 第二道防线强制引用溯源每个结论都要有出处第二道防线是把回答和资料绑在一起。如果模型每个结论都能对应到参考资料里的具体位置幻觉的空间就会被大幅压缩。常用模板请基于【参考资料】回答问题。 每个结论后面必须用[引用编号]标注来源段落。 引用编号必须严格对应参考资料中的段落编号。 如果找不到任何段落支撑某个结论请明确写出 “该结论在参考资料中未找到出处。” 不要使用“可能”“大概”“众所周知”等模糊表述。有人觉得这样太死板但实践证明引用编号这个动作本身就是一种注意力引导。一旦模型知道自己的结论会被映射回原文它在生成时就会更频繁地“回头看”原文内容而不是一路顺着语言惯性写下去。如果你用的是检索增强生成RAG架构这个模板尤其好用。参考资料是你主动投喂给模型的来源清晰可指认模型想凭老底子编都编不圆。2.3 第三道防线分步作答与置信度自评让模型先打草稿第三个技巧是改变作答节奏。模型一步到位给出结论时跳跃性太大中间没有任何自检机会。你可以要求它先写推理过程再给结论最后自评置信度。在给出最终答案前请按以下步骤执行 第一步列出题目涉及的关键概念和已知条件写出你的推理依据。 第二步基于推理依据给出结论。 第三步用一句话给自己刚刚的答案打置信度分数0到10 并说明扣分或加分的具体原因。这个设计背后有一个很实际的机制当模型被迫“先写草稿再定稿”时它实际上在做两遍注意力扫描。第一遍梳理已知条件相当于把原有资料重新过了一遍第二遍生成结论时模型必须和草稿保持逻辑一致编造的空间就被压缩了。置信度自评那一步也别省。我在多个模型上试过模型给出的置信度分数和实际准确率有相关性虽然不算精准但足以用来做风险分级。低于 7 分的回答后续一定要走人工校验流程。2.4 第四道防线红队反问指令让模型自己拆自己的台前几道防线是在生成前起作用这道防线是在生成后补一刀。具体做法是让模型回答完之后切换到另一个角色去审阅自己的答案。回答完成后请切换成“法庭质证律师”身份逐条审阅你刚才的回答 1. 这个说法能在【参考资料】里找到明确依据吗 2. 回答中哪些数字、日期、名称可能是被推测出来的 3. 把可疑内容单独列出来说明可疑原因并给出核验方法。我第一次用这个模板时有点意外模型竟然真的能把自己的推测圈出来。原因在于审阅指令激活了不同的推理路径模型在前面生成时用的是“表达模式”切换到审阅时用的是“批判模式”后者对逻辑一致性的要求更高。这一招还有一个变体你可以把模型生成的回答原封不动放到另一个对话里让新对话扮演“事实核查员”。双模型互相制衡比单模型自己查自己更可靠。后面讲校验工作流时会再展开。3. 生成之后还要验可落地的事实校验工作流提示词四道防线能让幻觉少一大半但拦不住全部。所以正经做应用还得有一套生成后校验的流程。我现在的做法是把校验分成四层每一层干不同的事。3.1 自我一致性检查同一问题换三种问法第一种校验很简单同一个问题用三种不同的措辞分别问一次然后比对答案里的关键信息点。真实信息在三种问法下会保持一致幻觉信息往往会因为问法不同而漂移。操作步骤把原问题改写成两个变形版本比如换顺序、换角度、换限定条件。分别请求答案提取每个答案中的关键断言比如数字、日期、实体名、结论词。三组断言做交集比对出现冲突的地方重点标记。这个方法不需要外部工具随时能跑代价是三次调用。如果三次答案里有两个对不上基本可以断定模型在相关点上是不确定的。3.2 反向验证法把答案喂回去做判断题第二种校验是让模型自己当“法官”。把生成结果整理成多个单条断言然后逐条问模型这条陈述在参考资料里到底支不支持。以下是若干条陈述请针对每条单独判断 支持能在参考资料中找到明确依据。 不支持与资料矛盾。 无法判断资料中完全没有相关信息。 请逐条给出判断不要合并输出。这里有个关键细节一次只判断一条不要一次抛整个段落。整段判断时模型会受整体语感影响倾向于给“整体感觉正确”打支持票拆成单条后每条都要单独寻找依据蒙混过关的难度大大提升。3.3 外部锚点校验别让模型当唯一信源第三种校验针对的是知识截止和数据动态变化问题。模型对静态知识的表述也许靠谱但对实时信息、内部数据、未公开细节它没有任何可靠来源。这时候你应该把模型调用和外部锚点结合而不是让模型单独发挥。外部锚点指这么几类东西结构化数据库或知识库数字类问题优先查库模型只负责把查到的结果组织成自然语言。搜索引擎或检索服务时效性内容先检索再生成把检索结果塞进上下文当参考资料。可执行环境涉及代码或计算公式时直接跑一遍用运行结果校验模型答案。我在一个财务问答场景中踩过一个大坑模型回答“某指标的同比增速为8.3%”数据来源是它训练语料里某个旧版本报告。后来我把答案生成逻辑改成“模型只负责解读数据数字一律从数据库取数接口拿”类似错误就再没出现过。凡是机器能查证的东西都不要依赖模型的记忆。3.4 校验记录表把每次校验变成可追溯的档案最后建议你维护一张简单的校验记录表。不用搞得多复杂一张表格就够项目内容问题原文用户实际输入的问法模型回答摘要提取出的核心断言引用来源回答中标注的引用编号校验方式一致性检查、反向验证、外部锚点中的哪几种校验结果通过、待核实、错误置信度模型自评和人工评估两个值处理动作修正、补充资料、返回“无法确认”这张表看起来笨但它能帮你发现规律。比如运行两周后你可能会发现模型在“日期类问题”上错误率特别高或者在“长文档中间段落”上得分偏低。有了数据你就能针对性地调提示词或改检索策略而不是凭感觉盲目优化。4. 组合示例搭建一个带防御体系的问答 Bot把前面所有技巧串起来我用一个具体场景演示。假设要做一个内部知识库问答 Bot参考资料是几份产品文档用户会问操作流程、参数配置和注意事项。4.1 场景定义与准备我的做法是先把文档拆成带编号的段落每段有一个唯一 ID。拆段这一步很关键没有段落编号强制引用溯源就无从做起。拆完之后把文档段喂给检索器问问题时先检索出相关段落再拼进提示词上下文。这样组合的原因很简单如果直接把所有文档都塞进上下文模型容易在长上下文里“迷失”中间段的信息提取权重会下降。先检索后拼接能保证送到生成环节的每段资料都是高相关的。4.2 系统提示词全貌完整版提示词长这样你是一个严格基于参考资料的问答助手。 【参考资料】 {document_list} 【回答规则】 1. 你只能依据【参考资料】回答禁止使用训练记忆中的信息。 2. 每个结论后必须标注引用段落编号格式为[编号]。 3. 如果参考资料不足以回答请直接回复 “根据当前资料我无法确认这一点。” 4. 禁止推测、联想、补充常识性背景。 5. 给出正式答案前先按内部步骤完成如下核验 这一步不需要展示给用户 a. 列出回答涉及的每个关键断言 b. 为每个断言匹配引用编号 c. 无法匹配的断言必须删除或归入“无法确认”。 6. 最终答案以简洁结构输出结论、引用、置信度评分。这个模板把前面四道防线全部融合进去了既有限定出口又有引用溯源还有内部自检步骤。注意第 5 条里我特意写了“这一步不需要展示给用户”因为草稿过程直接展示出来会很啰嗦用户只需要看到结论、引用和信任分。4.3 用一个对照场景看效果拿实际用户问题“发布新版本之后如果业务异常回滚流程是什么”来测试。不加防御的模型回答是这样的回滚流程如下首先在管理后台选择目标版本点击“回滚”按钮 系统会自动备份当前配置然后恢复上一版本。回滚完成后 需要手动重启所有边缘节点并验证核心链路是否正常。单看这段话逻辑很通顺步骤也齐全。但我去文档里核对后发现文档里只写了“系统支持一键回滚到上一个稳定版本”根本没有“自动备份当前配置”“重启边缘节点”这些步骤。那些全是模型自己脑补的。加了防御提示之后回答变成了根据[3]号段落系统支持通过控制台一键回滚到上一个稳定版本。 文档未明确说明回滚前是否需要手动备份此步骤待确认。 建议以运维平台实际提供的选项为准。 置信度7/10。扣分原因回滚后的验证流程文档未覆盖。这个回答里每个说法都有出处没有出处的部分被明确标成“待确认”还主动降低了置信度。虽然它没有给出完整流程但至少没有骗你。对知识库问答场景来说“诚实的缺失”远比“完整的编造”更有价值。4.4 上线之后的迭代思路这套提示词不是一次调完就不用管了。我建议上线后关注两类数据一是用户追问率如果大量用户都会追问“你确定吗”说明回答的可信度没有建立起来二是人工纠错率定期抽检回答统计需要人工修正的比例。如果抽检发现某个方向的错误率偏高把对应的参考文档段落追加到提示词的“特别注意”区域。这个做法效果很直接——你是在“喂”模型更多证据而不是反复强调“别编了”。5. 防不住的时候防御性提示的边界与心法5.1 四个容易突破防线的场景防御性提示不是银弹实测中下面几类场景最容易突破防线上下文窗口中间的段落。当参考资料超过一定长度模型对输入中段内容的关注度会明显下降引用编号可能标错。术语密度高的专业内容。模型对罕见术语的理解本身有偏差引用再严格它也可能会“正确引用错误解释”。用户主动诱导。用户说“你可以推测一下”模型很容易顺着用户意图放开边界。数字密集型问题。多个数字混在一起时模型复制错误的概率很高提示词里的禁令约束不了底层解码的注意力分配。了解这些边界你就不会把防御性提示当万金油用了。5.2 工程兜底解码参数和检索策略在提示词防不住的地方需要工程手段补位。比如把解码温度调低减少随机性比如在做检索时把召回数量控制在一定范围并优先召回与问题关键词重合度更高的段落。更推荐的是人工抽检闭环。对于高频业务问题维护一个黄金问答集每次改动提示词或模型版本时用这套问答集跑一遍回归对比答案的准确率变化。这比讨论任何技巧都实在。5.3 我总结的五个心法做了这么多项目最后浓缩成五条经验防御性提示的作用是抬升概率下限不是清零幻觉。目标是让错误从“隐蔽”变成“可见”这已经是巨大进步。“不知道”比“编造一个答案”更能保护产品信誉。用户能接受模型说不知道但接受不了模型骗他。校验成本必须比生成成本低才有可操作性。所以优先用自我一致性检查和反向验证最后才上人工。给模型一个具体行为别只给抽象禁令。“请直接说根据当前资料无法确认”比“不要编造”好用得多。每一次幻觉记录都是资产的积累。把失败的案例存下来做成小样本集后面无论是调提示词还是微调模型都用得上。如果你手头也有经常跑偏的模型不用急着换更大的参数版本先把这套防御提示加进去试一周。我在实际项目里最直观的感觉是幻觉不会消失但十个回答里至少有三四个从“看着像真的”变成了“拿不准就说不知道”这已经值回成本了。后面再叠加外部锚点和校验流程整个系统的可信度会明显上一个台阶。
前几天我在调一个文档问答机器人用户问了一句“这个系统支持的最大并发数是多少”模型给了一串看起来很专业的数字和参数。我翻了一下原始需求文档里面根本没写过这个指标——那串数字是模型自己编的。这正是大模型最常见也最难防的问题幻觉。模型不是记忆库它是在逐词预测下一个 token为了把话说得通顺连贯它会自动补出“听起来合理但并无依据”的细节。今天要聊的防御性提示就是一套专门对付这类问题的提示词设计方法核心方向有两个幻觉抑制和事实校验。这篇文章适合正在搭 AI 应用、写提示词、做知识库问答或者被模型“一本正经胡说八道”坑过的开发者。我会从幻觉的成因讲起给出四道可落地的提示防线再讲一套生成之后的校验工作流最后用完整示例说明怎么组合使用。内容偏实战每一步都能直接抄走。1. 一本正经地胡说八道幻觉是从哪冒出来的1.1 一次让我后背发凉的实测前面说到的并发数只是小场面。还有一次我让模型总结一篇技术方案它竟然在结论里加了一个“方案采用了改进后的哈希分片策略”这个策略名在原文里压根不存在。更可怕的是它补充的那段解释逻辑完全自洽光读结论根本看不出问题。我后来做了个简单测试同一个问题在不做任何防御的情况下问十次模型大概有三到四次会主动补充文档里没有的细节。这些细节不是随机乱码而是高度贴近语境的“合理推测”所以特别难识别。你要是不带着资料逐字核对很容易被它带偏。这类现象在业界统称幻觉Hallucination本质是模型生成了与输入内容或事实不一致的信息。它不只在问答场景出现摘要、翻译、代码注释里都有只是问答场景最容易被暴露。1.2 幻觉的三个主要来源要抑制幻觉先得知道它从哪来。我归纳下来主要有三条路知识截止。模型训练数据是有时间边界的训练完之后它接触不到新信息。你问它训练截止之后发生的事它只能根据旧资料“推断”一个答案。这个过程和真人猜很像猜得合理但未必正确。概率采样。生成过程本质是逐词选概率为了句子流畅模型会在低确定性区域“平滑过渡”。在概率差不多的候选词里它经常挑一个让语义更完整的补上这个补上的词就是编造的开端。对齐偏好。训练阶段模型学会了一件事语气自信的回答更容易被人类点赞。说“我不知道”在统计上不吃香于是模型倾向于用确定的语气掩盖不确定性。这是幻觉最阴险的地方——越自信越容易蒙混过关。理解了这三条你就能明白一个关键结论幻觉的本质是“输出空间没有被约束住”而不是模型变笨了。提示词的作用就是在解码之前给模型划一条清晰的边界告诉它哪些区域能走、哪些区域必须停下。1.3 为什么几行提示词就能压住幻觉很多人以为幻觉是模型能力问题得换更大的模型才能解决。实测下来提示词层面的干预往往更立竿见影。你可以把解码过程想成一个出租车司机。司机技术再好你不告诉他目的地范围他也会凭经验挑一条“最可能正确”的路。防御性提示等于在地图上划线哪些路你确认过、哪些路没有地图数据、没数据就停在原地别动。模型的能力没变但它的决策空间已经被收紧跑偏的概率自然下降。当然提示词不是万能的后面我会专门讲它防不住的情况。但作为第一道闸门它成本最低、见效最快值得我们先把基本功做扎实。2. 把“不许编”写进指令四道实用的提示防线2.1 第一道防线知识边界声明给“我不知道”留出口最容易让模型编造的是你逼它必须回答。所以防御性提示的第一件事就是明确告诉它答不上来是正常行为直接说出来不会被惩罚。我现在做知识库问答时的系统提示词开头固定有一段你是一个严格基于参考资料的问答助手。 你只能依据【参考资料】中的内容回答用户问题。 如果参考资料中没有答案或者信息不足请直接回答 “根据当前资料我无法确认这一点。” 禁止自行补充、推测、联想禁止编造参考资料中不存在的 数字、日期、名称、结论。这段指令看起来朴素但作用非常直接。它给了模型一个“合法出口”模型在不确定时就不再需要靠编一个答案来维持对话完整性了。这里有个实操细节你光写“不要编造”不够最好写清楚“不知道时具体说什么话”。因为“不要编造”是个抽象禁令模型不知道该往哪走而“根据当前资料我无法确认这一点”是个具体行为模型可以直接执行。抽象禁令加具体出口效果完全不一样。2.2 第二道防线强制引用溯源每个结论都要有出处第二道防线是把回答和资料绑在一起。如果模型每个结论都能对应到参考资料里的具体位置幻觉的空间就会被大幅压缩。常用模板请基于【参考资料】回答问题。 每个结论后面必须用[引用编号]标注来源段落。 引用编号必须严格对应参考资料中的段落编号。 如果找不到任何段落支撑某个结论请明确写出 “该结论在参考资料中未找到出处。” 不要使用“可能”“大概”“众所周知”等模糊表述。有人觉得这样太死板但实践证明引用编号这个动作本身就是一种注意力引导。一旦模型知道自己的结论会被映射回原文它在生成时就会更频繁地“回头看”原文内容而不是一路顺着语言惯性写下去。如果你用的是检索增强生成RAG架构这个模板尤其好用。参考资料是你主动投喂给模型的来源清晰可指认模型想凭老底子编都编不圆。2.3 第三道防线分步作答与置信度自评让模型先打草稿第三个技巧是改变作答节奏。模型一步到位给出结论时跳跃性太大中间没有任何自检机会。你可以要求它先写推理过程再给结论最后自评置信度。在给出最终答案前请按以下步骤执行 第一步列出题目涉及的关键概念和已知条件写出你的推理依据。 第二步基于推理依据给出结论。 第三步用一句话给自己刚刚的答案打置信度分数0到10 并说明扣分或加分的具体原因。这个设计背后有一个很实际的机制当模型被迫“先写草稿再定稿”时它实际上在做两遍注意力扫描。第一遍梳理已知条件相当于把原有资料重新过了一遍第二遍生成结论时模型必须和草稿保持逻辑一致编造的空间就被压缩了。置信度自评那一步也别省。我在多个模型上试过模型给出的置信度分数和实际准确率有相关性虽然不算精准但足以用来做风险分级。低于 7 分的回答后续一定要走人工校验流程。2.4 第四道防线红队反问指令让模型自己拆自己的台前几道防线是在生成前起作用这道防线是在生成后补一刀。具体做法是让模型回答完之后切换到另一个角色去审阅自己的答案。回答完成后请切换成“法庭质证律师”身份逐条审阅你刚才的回答 1. 这个说法能在【参考资料】里找到明确依据吗 2. 回答中哪些数字、日期、名称可能是被推测出来的 3. 把可疑内容单独列出来说明可疑原因并给出核验方法。我第一次用这个模板时有点意外模型竟然真的能把自己的推测圈出来。原因在于审阅指令激活了不同的推理路径模型在前面生成时用的是“表达模式”切换到审阅时用的是“批判模式”后者对逻辑一致性的要求更高。这一招还有一个变体你可以把模型生成的回答原封不动放到另一个对话里让新对话扮演“事实核查员”。双模型互相制衡比单模型自己查自己更可靠。后面讲校验工作流时会再展开。3. 生成之后还要验可落地的事实校验工作流提示词四道防线能让幻觉少一大半但拦不住全部。所以正经做应用还得有一套生成后校验的流程。我现在的做法是把校验分成四层每一层干不同的事。3.1 自我一致性检查同一问题换三种问法第一种校验很简单同一个问题用三种不同的措辞分别问一次然后比对答案里的关键信息点。真实信息在三种问法下会保持一致幻觉信息往往会因为问法不同而漂移。操作步骤把原问题改写成两个变形版本比如换顺序、换角度、换限定条件。分别请求答案提取每个答案中的关键断言比如数字、日期、实体名、结论词。三组断言做交集比对出现冲突的地方重点标记。这个方法不需要外部工具随时能跑代价是三次调用。如果三次答案里有两个对不上基本可以断定模型在相关点上是不确定的。3.2 反向验证法把答案喂回去做判断题第二种校验是让模型自己当“法官”。把生成结果整理成多个单条断言然后逐条问模型这条陈述在参考资料里到底支不支持。以下是若干条陈述请针对每条单独判断 支持能在参考资料中找到明确依据。 不支持与资料矛盾。 无法判断资料中完全没有相关信息。 请逐条给出判断不要合并输出。这里有个关键细节一次只判断一条不要一次抛整个段落。整段判断时模型会受整体语感影响倾向于给“整体感觉正确”打支持票拆成单条后每条都要单独寻找依据蒙混过关的难度大大提升。3.3 外部锚点校验别让模型当唯一信源第三种校验针对的是知识截止和数据动态变化问题。模型对静态知识的表述也许靠谱但对实时信息、内部数据、未公开细节它没有任何可靠来源。这时候你应该把模型调用和外部锚点结合而不是让模型单独发挥。外部锚点指这么几类东西结构化数据库或知识库数字类问题优先查库模型只负责把查到的结果组织成自然语言。搜索引擎或检索服务时效性内容先检索再生成把检索结果塞进上下文当参考资料。可执行环境涉及代码或计算公式时直接跑一遍用运行结果校验模型答案。我在一个财务问答场景中踩过一个大坑模型回答“某指标的同比增速为8.3%”数据来源是它训练语料里某个旧版本报告。后来我把答案生成逻辑改成“模型只负责解读数据数字一律从数据库取数接口拿”类似错误就再没出现过。凡是机器能查证的东西都不要依赖模型的记忆。3.4 校验记录表把每次校验变成可追溯的档案最后建议你维护一张简单的校验记录表。不用搞得多复杂一张表格就够项目内容问题原文用户实际输入的问法模型回答摘要提取出的核心断言引用来源回答中标注的引用编号校验方式一致性检查、反向验证、外部锚点中的哪几种校验结果通过、待核实、错误置信度模型自评和人工评估两个值处理动作修正、补充资料、返回“无法确认”这张表看起来笨但它能帮你发现规律。比如运行两周后你可能会发现模型在“日期类问题”上错误率特别高或者在“长文档中间段落”上得分偏低。有了数据你就能针对性地调提示词或改检索策略而不是凭感觉盲目优化。4. 组合示例搭建一个带防御体系的问答 Bot把前面所有技巧串起来我用一个具体场景演示。假设要做一个内部知识库问答 Bot参考资料是几份产品文档用户会问操作流程、参数配置和注意事项。4.1 场景定义与准备我的做法是先把文档拆成带编号的段落每段有一个唯一 ID。拆段这一步很关键没有段落编号强制引用溯源就无从做起。拆完之后把文档段喂给检索器问问题时先检索出相关段落再拼进提示词上下文。这样组合的原因很简单如果直接把所有文档都塞进上下文模型容易在长上下文里“迷失”中间段的信息提取权重会下降。先检索后拼接能保证送到生成环节的每段资料都是高相关的。4.2 系统提示词全貌完整版提示词长这样你是一个严格基于参考资料的问答助手。 【参考资料】 {document_list} 【回答规则】 1. 你只能依据【参考资料】回答禁止使用训练记忆中的信息。 2. 每个结论后必须标注引用段落编号格式为[编号]。 3. 如果参考资料不足以回答请直接回复 “根据当前资料我无法确认这一点。” 4. 禁止推测、联想、补充常识性背景。 5. 给出正式答案前先按内部步骤完成如下核验 这一步不需要展示给用户 a. 列出回答涉及的每个关键断言 b. 为每个断言匹配引用编号 c. 无法匹配的断言必须删除或归入“无法确认”。 6. 最终答案以简洁结构输出结论、引用、置信度评分。这个模板把前面四道防线全部融合进去了既有限定出口又有引用溯源还有内部自检步骤。注意第 5 条里我特意写了“这一步不需要展示给用户”因为草稿过程直接展示出来会很啰嗦用户只需要看到结论、引用和信任分。4.3 用一个对照场景看效果拿实际用户问题“发布新版本之后如果业务异常回滚流程是什么”来测试。不加防御的模型回答是这样的回滚流程如下首先在管理后台选择目标版本点击“回滚”按钮 系统会自动备份当前配置然后恢复上一版本。回滚完成后 需要手动重启所有边缘节点并验证核心链路是否正常。单看这段话逻辑很通顺步骤也齐全。但我去文档里核对后发现文档里只写了“系统支持一键回滚到上一个稳定版本”根本没有“自动备份当前配置”“重启边缘节点”这些步骤。那些全是模型自己脑补的。加了防御提示之后回答变成了根据[3]号段落系统支持通过控制台一键回滚到上一个稳定版本。 文档未明确说明回滚前是否需要手动备份此步骤待确认。 建议以运维平台实际提供的选项为准。 置信度7/10。扣分原因回滚后的验证流程文档未覆盖。这个回答里每个说法都有出处没有出处的部分被明确标成“待确认”还主动降低了置信度。虽然它没有给出完整流程但至少没有骗你。对知识库问答场景来说“诚实的缺失”远比“完整的编造”更有价值。4.4 上线之后的迭代思路这套提示词不是一次调完就不用管了。我建议上线后关注两类数据一是用户追问率如果大量用户都会追问“你确定吗”说明回答的可信度没有建立起来二是人工纠错率定期抽检回答统计需要人工修正的比例。如果抽检发现某个方向的错误率偏高把对应的参考文档段落追加到提示词的“特别注意”区域。这个做法效果很直接——你是在“喂”模型更多证据而不是反复强调“别编了”。5. 防不住的时候防御性提示的边界与心法5.1 四个容易突破防线的场景防御性提示不是银弹实测中下面几类场景最容易突破防线上下文窗口中间的段落。当参考资料超过一定长度模型对输入中段内容的关注度会明显下降引用编号可能标错。术语密度高的专业内容。模型对罕见术语的理解本身有偏差引用再严格它也可能会“正确引用错误解释”。用户主动诱导。用户说“你可以推测一下”模型很容易顺着用户意图放开边界。数字密集型问题。多个数字混在一起时模型复制错误的概率很高提示词里的禁令约束不了底层解码的注意力分配。了解这些边界你就不会把防御性提示当万金油用了。5.2 工程兜底解码参数和检索策略在提示词防不住的地方需要工程手段补位。比如把解码温度调低减少随机性比如在做检索时把召回数量控制在一定范围并优先召回与问题关键词重合度更高的段落。更推荐的是人工抽检闭环。对于高频业务问题维护一个黄金问答集每次改动提示词或模型版本时用这套问答集跑一遍回归对比答案的准确率变化。这比讨论任何技巧都实在。5.3 我总结的五个心法做了这么多项目最后浓缩成五条经验防御性提示的作用是抬升概率下限不是清零幻觉。目标是让错误从“隐蔽”变成“可见”这已经是巨大进步。“不知道”比“编造一个答案”更能保护产品信誉。用户能接受模型说不知道但接受不了模型骗他。校验成本必须比生成成本低才有可操作性。所以优先用自我一致性检查和反向验证最后才上人工。给模型一个具体行为别只给抽象禁令。“请直接说根据当前资料无法确认”比“不要编造”好用得多。每一次幻觉记录都是资产的积累。把失败的案例存下来做成小样本集后面无论是调提示词还是微调模型都用得上。如果你手头也有经常跑偏的模型不用急着换更大的参数版本先把这套防御提示加进去试一周。我在实际项目里最直观的感觉是幻觉不会消失但十个回答里至少有三四个从“看着像真的”变成了“拿不准就说不知道”这已经值回成本了。后面再叠加外部锚点和校验流程整个系统的可信度会明显上一个台阶。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
