幻觉Hallucination一、什么是幻觉幻觉Hallucination指 LLM 生成看似流畅合理、但实际与事实不符或凭空捏造的内容。模型不是知道自己不知道而是不知道自己不知道——以高置信度的语气输出错误信息。常见幻觉类型类型说明示例事实性幻觉编造不存在的事实、数据、引用引用不存在的论文、错误的 API 签名忠实性幻觉与给定上下文/文档矛盾文档说 A模型却说 B工具幻觉调用不存在的函数、伪造参数调用一个没有定义的 API逻辑幻觉推理链条看似通顺但结论错误数学推导中间跳步得错答案代码幻觉生成能编译但逻辑错误的代码用不存在的库方法、错误的语法细节幻觉的成因训练目标是预测下一个最可能的词而非说真话——概率上流畅 ≠ 事实正确训练数据本身含错误、过时信息模型缺乏不确定性表达能力倾向于给出确定答案二、为什么 Agent 场景下幻觉后果更严重核心区别纯问答是输出Agent 是行动纯问答幻觉 用户读到错误信息 → 用户自行判断损失可控。Agent幻觉 错误的行动被执行 → 产生不可逆的真实后果。1. 从信息污染升级为行动污染纯问答幻觉 → 错误答案展示给用户 → 用户判断可拦截 Agent 幻觉 → 错误计划/错误工具调用 → 执行真实操作 → 实际后果Agent 会把幻觉直接转化为动作幻觉出一个文件路径 → 真实读写该文件幻觉出一个API 调用 → 真实发起请求幻觉出一个数据库查询 → 真实操作数据2. 错误会被放大和传播级联效应Agent 是多步循环前一步的幻觉会作为后续步骤的事实输入第 1 步幻觉出错误参数 → 第 2 步基于错误结果继续 → 第 3 步雪崩单步错误在单轮问答中是一次性损失在 Agent 中是复利式放大3. 后果不可逆场景后果可逆性纯问答回答错可纠正重新问一次Agent 删了文件数据永久丢失Agent 执行了转账/下单真实交易发生Agent 提交了错误代码到仓库污染代码库Agent 发送了错误邮件已送达收件人4. 信任与安全风险用户基于对 Agent 的自动化信任放手不逐步核对幻觉若涉及安全边界权限、敏感操作可能触发越权或数据泄露恶意用户可诱导 Agent 产生幻觉幻觉注入攻击5. 难以事后追责多步自动执行中很难定位是哪一步、哪个幻觉导致了最终错误行动已发生解释无法挽回实际损失三、Agent 场景下缓解幻觉的工程手段手段说明工具结果回传校验用真实工具返回值而非模型自述作为下一步依据确定性验证代码跑测试、SQL 执行检查、数据断言RAG 接地答案必须基于检索到的真实文档降低自由发挥关键操作人工确认删除、支付、提交等高危动作加人工卡点多模型交叉/自洽性检查多次采样看是否一致不一致则标记限制自主权限沙箱隔离、最小权限、操作白名单置信度/不确定表达让模型在不确定时声明而非硬答可回滚设计操作支持撤销、事务、备份四、总结幻觉是 LLM 以自信语气输出错误内容的固有缺陷。在纯问答中幻觉只是说错话用户可拦截在 Agent 场景中幻觉会被转化为真实行动产生不可逆后果、在多步循环中级联放大、且难以事后追责——这正是 Agent 安全工程的核心挑战。因此 Agent 的设计原则是**“不信任模型自述只信真实反馈”**用工具返回值、确定性验证、人工确认、沙箱隔离等手段把幻觉的影响从行动层压回到建议层。
幻觉Hallucination一、什么是幻觉幻觉Hallucination指 LLM 生成看似流畅合理、但实际与事实不符或凭空捏造的内容。模型不是知道自己不知道而是不知道自己不知道——以高置信度的语气输出错误信息。常见幻觉类型类型说明示例事实性幻觉编造不存在的事实、数据、引用引用不存在的论文、错误的 API 签名忠实性幻觉与给定上下文/文档矛盾文档说 A模型却说 B工具幻觉调用不存在的函数、伪造参数调用一个没有定义的 API逻辑幻觉推理链条看似通顺但结论错误数学推导中间跳步得错答案代码幻觉生成能编译但逻辑错误的代码用不存在的库方法、错误的语法细节幻觉的成因训练目标是预测下一个最可能的词而非说真话——概率上流畅 ≠ 事实正确训练数据本身含错误、过时信息模型缺乏不确定性表达能力倾向于给出确定答案二、为什么 Agent 场景下幻觉后果更严重核心区别纯问答是输出Agent 是行动纯问答幻觉 用户读到错误信息 → 用户自行判断损失可控。Agent幻觉 错误的行动被执行 → 产生不可逆的真实后果。1. 从信息污染升级为行动污染纯问答幻觉 → 错误答案展示给用户 → 用户判断可拦截 Agent 幻觉 → 错误计划/错误工具调用 → 执行真实操作 → 实际后果Agent 会把幻觉直接转化为动作幻觉出一个文件路径 → 真实读写该文件幻觉出一个API 调用 → 真实发起请求幻觉出一个数据库查询 → 真实操作数据2. 错误会被放大和传播级联效应Agent 是多步循环前一步的幻觉会作为后续步骤的事实输入第 1 步幻觉出错误参数 → 第 2 步基于错误结果继续 → 第 3 步雪崩单步错误在单轮问答中是一次性损失在 Agent 中是复利式放大3. 后果不可逆场景后果可逆性纯问答回答错可纠正重新问一次Agent 删了文件数据永久丢失Agent 执行了转账/下单真实交易发生Agent 提交了错误代码到仓库污染代码库Agent 发送了错误邮件已送达收件人4. 信任与安全风险用户基于对 Agent 的自动化信任放手不逐步核对幻觉若涉及安全边界权限、敏感操作可能触发越权或数据泄露恶意用户可诱导 Agent 产生幻觉幻觉注入攻击5. 难以事后追责多步自动执行中很难定位是哪一步、哪个幻觉导致了最终错误行动已发生解释无法挽回实际损失三、Agent 场景下缓解幻觉的工程手段手段说明工具结果回传校验用真实工具返回值而非模型自述作为下一步依据确定性验证代码跑测试、SQL 执行检查、数据断言RAG 接地答案必须基于检索到的真实文档降低自由发挥关键操作人工确认删除、支付、提交等高危动作加人工卡点多模型交叉/自洽性检查多次采样看是否一致不一致则标记限制自主权限沙箱隔离、最小权限、操作白名单置信度/不确定表达让模型在不确定时声明而非硬答可回滚设计操作支持撤销、事务、备份四、总结幻觉是 LLM 以自信语气输出错误内容的固有缺陷。在纯问答中幻觉只是说错话用户可拦截在 Agent 场景中幻觉会被转化为真实行动产生不可逆后果、在多步循环中级联放大、且难以事后追责——这正是 Agent 安全工程的核心挑战。因此 Agent 的设计原则是**“不信任模型自述只信真实反馈”**用工具返回值、确定性验证、人工确认、沙箱隔离等手段把幻觉的影响从行动层压回到建议层。
