别再靠感觉调 RAG 了一套能跑的评估流水线你改完 Prompt、调过 chunk 大小、换了 Embedding 模型——然后问同事「这次好点了吗」得到的是「感觉还行」。这就是最危险的状态你没法证明它变好了也没法证明它变差了。每次改动都是一场没有裁判的赌博。RAG 评估不是选一个工具装上去就完事。它是一个工程流程先人工打底再自动化最后接进回归。下面这 4 步我走过一遍。「感觉 RAG 变好了」是最危险的状态我见过三个翻车现场都是同一个模式场景 1有人改了一版 Embedding 模型说「新模型效果更好」理由是「试了几个问题感觉更准」。上线后用户反馈问题变少了但客服工单翻倍——因为新模型把长文档的 chunk 召回率降了 12%但没人在意。场景 2调 chunk 大小从 512 改到 256「这样召回更精准」。结果答案引用溯源变差了用户问「你根据哪段说的」系统答不上来。因为小 chunk 把上下文切断了。场景 3换了一个更强的 LLM 当生成器「幻觉少了」。实际上幻觉确实少了 30%但答案变长了 2 倍用户看完更晕了——因为原来短答案的信息密度更高。这三个场景的共同点都不是技术能力问题是没有评估基线。没有评估体系RAG 开发就是炼丹。改完不知道好没好上线全凭感觉出了问题全靠用户反馈。第 1 步人工抽检 20 个 case 打底别一上来就搞自动化。先手动做 20 个 case。怎么挑这 20 个 case按场景分布6 类 × 3-4 个场景case 数示例典型问答知识库里有明确答案4「公司年假几天」「报销流程」多文档跨引用答案需要拼接3「华东和南区库存差多少」边界/模糊问题答案不在知识库里3「竞品 X 的功能对比」时间敏感问题答案会过期3「最新政策」「当前价格」长文档定位答案在文档中间4「第 3 章提到的约束条件」多轮上下文依赖前几轮对话3「上面那个数字再确认下」打分维度4 个1-5 分答案准确性事实对不对数字对不对引用溯源能不能给出依据哪个文档、哪段延迟从提问到出答案的响应时间秒幻觉有没有编造知识库里没有的内容工具Excel 就够。一张表20 行每行一个 case问题、参考答案、系统答案、4 个维度的分数、总分、备注。不要上系统不要接数据库。Excel 够用 3 个月。踩坑case 太少没统计意义太多维护不起。10 个 case 以下改一次 Prompt 就能全部对上没参考价值。30 个以上每轮评测要 1-2 小时团队不愿意跑系统就废了。20 个是平衡点——足够覆盖典型场景又能在 30 分钟内跑完。第 2 步LLM-as-judge 自动化打分人工打分的问题是主观、慢、一致性差。LLM-as-judge 是用一个 LLM 当裁判自动打分。这是当前行业标配——Ragas、TruLens、LangSmith 都支持。三家工具怎么选工具优势劣势适合Ragas开源、指标多Faithfulness/Context Recall 等、可自部署配置复杂、中文支持一般已有评测框架的团队TruLens集成 LangChain、有 UI闭源、依赖 LangChainLangChain 用户LangSmith全托管、开箱即用、有版本对比贵、数据出境想快速上手的团队如果你没有现成框架先手动用 API 调不要急着上工具。跑通流程再选型。Judge Prompt 模板直接复制你是一个 RAG 系统评估专家。请根据以下信息打分 【用户问题】{question} 【参考答案】{reference_answer} 【系统答案】{system_answer} 【引用的文档片段】{retrieved_chunks} 请从以下 4 个维度打分1-5 分 1. 答案准确性系统答案与参考答案的事实一致性 2. 证据支撑度引用的文档片段是否包含答案依据 3. 完整性是否遗漏了参考答案中的关键信息 4. 幻觉程度是否有参考答案中没有的编造内容 输出 JSON {accuracy: X, evidence: X, completeness: X, hallucination: X, reason: 一句话说明}防自欺机制重要如果你用 GPT-4 当 judge它可能会系统性地给自家答案高分。解决方法用不同模型当 judge系统用 GPT-4judge 用 Claude 或 Gemini校准阈值先拿 20 个人工打分 case跑一次自动打分算 Pearson 相关系数。低于 0.8 说明 judge 不可信调 prompt人工复核 10%每周随机抽 2 个 case 人工复核发现偏差及时调整踩坑用同一个模型当 judge 会系统性偏高。我试过一次用 GPT-4 当 judge 评 GPT-4 生成的答案平均 4.2 分。换成 Claude 评同一批答案平均 3.4 分。差 20%。这不是谁对谁错是系统性偏差必须识别。第 3 步基线与回归每次改动跑一遍有了自动打分下一步是建基线。基线 人工抽检 20 case 的平均分。第一次跑完人工打分算出 4 个维度的平均分这就是你的基线。比如准确性 3.8、证据支撑 3.5、完整性 3.6、幻觉 4.1。CI 流程改动Prompt / chunk / embedding → 跑 20 个 case 自动打分 → 对比基线 → 超阈值告警不合并 → 未超阈值合并更新基线阈值参考指标告警阈值说明Recall5下降 5%召回率下降意味着答案质量下降Faithfulness下降 0.3 分Ragas 指标1-5 分制延迟 P95上升 500ms用户体验底线幻觉率上升 10%安全底线踩坑基线太松等于没有太紧天天误报。基线是「当前最优」不是「完美标准」。你的目标是防止回归不是追求满分。设太严比如准确性必须 4.5每次改动都报警团队就会忽略告警。设太松4.0 以下才报警等于没有。第 4 步评测集持续演进20 个 case 不是终点。评测集要活着。新 case 从哪来线上 bad case每周捞 5 个用户反馈「答错了」的真实问题加入评测集新功能前置开发新功能时先写 3-5 个 case 验证测完入库边界场景遇到一次线上边界情况比如超长文档、特殊字符补进评测集旧 case 怎么淘汰3 个月没命中的 case 归档。怎么判断「没命中」看线上真实提问的记录如果 90 天内没出现过类似问题这个 case 就过时了。踩坑评测集越用越大最后跑一次要 2 小时。不加淘汰规则评测集会无限膨胀。跑一次要 2 小时团队就不会跑了。所以必须有「3 个月没命中就归档」的规则。归档不是删除是移到「历史 case」表需要时还能查。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
别再靠感觉调 RAG 了一套能跑的评估流水线你改完 Prompt、调过 chunk 大小、换了 Embedding 模型——然后问同事「这次好点了吗」得到的是「感觉还行」。这就是最危险的状态你没法证明它变好了也没法证明它变差了。每次改动都是一场没有裁判的赌博。RAG 评估不是选一个工具装上去就完事。它是一个工程流程先人工打底再自动化最后接进回归。下面这 4 步我走过一遍。「感觉 RAG 变好了」是最危险的状态我见过三个翻车现场都是同一个模式场景 1有人改了一版 Embedding 模型说「新模型效果更好」理由是「试了几个问题感觉更准」。上线后用户反馈问题变少了但客服工单翻倍——因为新模型把长文档的 chunk 召回率降了 12%但没人在意。场景 2调 chunk 大小从 512 改到 256「这样召回更精准」。结果答案引用溯源变差了用户问「你根据哪段说的」系统答不上来。因为小 chunk 把上下文切断了。场景 3换了一个更强的 LLM 当生成器「幻觉少了」。实际上幻觉确实少了 30%但答案变长了 2 倍用户看完更晕了——因为原来短答案的信息密度更高。这三个场景的共同点都不是技术能力问题是没有评估基线。没有评估体系RAG 开发就是炼丹。改完不知道好没好上线全凭感觉出了问题全靠用户反馈。第 1 步人工抽检 20 个 case 打底别一上来就搞自动化。先手动做 20 个 case。怎么挑这 20 个 case按场景分布6 类 × 3-4 个场景case 数示例典型问答知识库里有明确答案4「公司年假几天」「报销流程」多文档跨引用答案需要拼接3「华东和南区库存差多少」边界/模糊问题答案不在知识库里3「竞品 X 的功能对比」时间敏感问题答案会过期3「最新政策」「当前价格」长文档定位答案在文档中间4「第 3 章提到的约束条件」多轮上下文依赖前几轮对话3「上面那个数字再确认下」打分维度4 个1-5 分答案准确性事实对不对数字对不对引用溯源能不能给出依据哪个文档、哪段延迟从提问到出答案的响应时间秒幻觉有没有编造知识库里没有的内容工具Excel 就够。一张表20 行每行一个 case问题、参考答案、系统答案、4 个维度的分数、总分、备注。不要上系统不要接数据库。Excel 够用 3 个月。踩坑case 太少没统计意义太多维护不起。10 个 case 以下改一次 Prompt 就能全部对上没参考价值。30 个以上每轮评测要 1-2 小时团队不愿意跑系统就废了。20 个是平衡点——足够覆盖典型场景又能在 30 分钟内跑完。第 2 步LLM-as-judge 自动化打分人工打分的问题是主观、慢、一致性差。LLM-as-judge 是用一个 LLM 当裁判自动打分。这是当前行业标配——Ragas、TruLens、LangSmith 都支持。三家工具怎么选工具优势劣势适合Ragas开源、指标多Faithfulness/Context Recall 等、可自部署配置复杂、中文支持一般已有评测框架的团队TruLens集成 LangChain、有 UI闭源、依赖 LangChainLangChain 用户LangSmith全托管、开箱即用、有版本对比贵、数据出境想快速上手的团队如果你没有现成框架先手动用 API 调不要急着上工具。跑通流程再选型。Judge Prompt 模板直接复制你是一个 RAG 系统评估专家。请根据以下信息打分 【用户问题】{question} 【参考答案】{reference_answer} 【系统答案】{system_answer} 【引用的文档片段】{retrieved_chunks} 请从以下 4 个维度打分1-5 分 1. 答案准确性系统答案与参考答案的事实一致性 2. 证据支撑度引用的文档片段是否包含答案依据 3. 完整性是否遗漏了参考答案中的关键信息 4. 幻觉程度是否有参考答案中没有的编造内容 输出 JSON {accuracy: X, evidence: X, completeness: X, hallucination: X, reason: 一句话说明}防自欺机制重要如果你用 GPT-4 当 judge它可能会系统性地给自家答案高分。解决方法用不同模型当 judge系统用 GPT-4judge 用 Claude 或 Gemini校准阈值先拿 20 个人工打分 case跑一次自动打分算 Pearson 相关系数。低于 0.8 说明 judge 不可信调 prompt人工复核 10%每周随机抽 2 个 case 人工复核发现偏差及时调整踩坑用同一个模型当 judge 会系统性偏高。我试过一次用 GPT-4 当 judge 评 GPT-4 生成的答案平均 4.2 分。换成 Claude 评同一批答案平均 3.4 分。差 20%。这不是谁对谁错是系统性偏差必须识别。第 3 步基线与回归每次改动跑一遍有了自动打分下一步是建基线。基线 人工抽检 20 case 的平均分。第一次跑完人工打分算出 4 个维度的平均分这就是你的基线。比如准确性 3.8、证据支撑 3.5、完整性 3.6、幻觉 4.1。CI 流程改动Prompt / chunk / embedding → 跑 20 个 case 自动打分 → 对比基线 → 超阈值告警不合并 → 未超阈值合并更新基线阈值参考指标告警阈值说明Recall5下降 5%召回率下降意味着答案质量下降Faithfulness下降 0.3 分Ragas 指标1-5 分制延迟 P95上升 500ms用户体验底线幻觉率上升 10%安全底线踩坑基线太松等于没有太紧天天误报。基线是「当前最优」不是「完美标准」。你的目标是防止回归不是追求满分。设太严比如准确性必须 4.5每次改动都报警团队就会忽略告警。设太松4.0 以下才报警等于没有。第 4 步评测集持续演进20 个 case 不是终点。评测集要活着。新 case 从哪来线上 bad case每周捞 5 个用户反馈「答错了」的真实问题加入评测集新功能前置开发新功能时先写 3-5 个 case 验证测完入库边界场景遇到一次线上边界情况比如超长文档、特殊字符补进评测集旧 case 怎么淘汰3 个月没命中的 case 归档。怎么判断「没命中」看线上真实提问的记录如果 90 天内没出现过类似问题这个 case 就过时了。踩坑评测集越用越大最后跑一次要 2 小时。不加淘汰规则评测集会无限膨胀。跑一次要 2 小时团队就不会跑了。所以必须有「3 个月没命中就归档」的规则。归档不是删除是移到「历史 case」表需要时还能查。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
