答案错了先别怪模型。这句话并不是给模型开脱而是我这些年被现实教育出来的习惯。每次有同事气冲冲跑来跟我说这个模型答错了这模型太蠢了我通常不会第一时间打开模型配置而是先问三个问题它到底看到了什么输入你给它的指令说了什么这次运行的参数是什么原因很简单——大模型是一个概率系统它输出的每一个字都建立在你喂给它的上下文之上。你以为它应该知道它其实只能根据输入去猜。这篇文章就专门聊聊当模型给出一个错误答案时该怎么一步步定位真正的病灶并顺手把排查思路沉淀成一套能复用的方法。无论你是在调本地部署的开源模型还是接商用API亦或是在训练LightGBM回归模型这套思路都适用数据先行提示词次之参数第三最后才轮到模型本身。1. 那次“模型智障”时刻问题其实出在我的配置上1.1 一个被我冤枉的本地模型先讲个我自己的真实案例。有一阵子我在本地部署了一个开源对话模型做合同关键字段抽取显卡显存不大只能跑4bit量化模型参数在可接受范围内。任务很简单从一段合同文本里提取签约日期。结果模型返回了一个明显不存在的日期年份都对不上。我当时的第一个念头就是这模型不行得换更大的。但我强迫自己先别急着换去看了一眼实际发给模型的输入发现了一个很尴尬的事实合同原文被切片成了两块签约日期恰好被切在上一块的末尾而检索召回只返回了下一块。模型看到的文本里根本没有任何日期信息。这种情况下大模型会默认脑补一个最像日期的内容填进去——这是它的默认行为不是玄学。所以错的不是模型是我的切片策略和检索策略。这件事之后我养成了一个习惯每次模型答错先看它到底看到了什么而不是先看它是什么模型。1.2 先给错误答案做个“分诊”很多人一遇到模型输出不对就陷入重新生成一次看看的循环。但更高效的做法是先给错误答案做个分诊根据不同症状决定优先排查的方向。我把自己常遇到的几类问题整理成了一个表错误答案的样子优先排查方向常见根因内容看着合理但关键事实不对上下文与检索文本被截断、切片切断关键信息、召回片段不完整反复输出同一句话或模板话采样参数temperature过低、重复惩罚设置不当输出格式乱七八糟输出约束没给明确的JSON Schema或格式示例答非所问、回答过于简短提示词指令不明确、缺少角色设定和示例同一问题多次结果差异大采样参数/提示词随机性太高、提示词对细节过于敏感这个表不是标准答案但它能帮你快速缩小排查范围。更重要的是一种心态错误答案只是一个症状模型权重只是众多嫌疑人之中的一个而且往往不是真正的凶手。接下来我按排查优先级逐一展开。2. 排查第一站数据与上下文而不是模型权重2.1 模型的输入比你想象的更“残缺”大模型本质上是一个输入决定输出的函数。你给它什么文本它就只能基于这个文本作答。所以在RAG检索增强生成场景里我从来不先怀疑生成模型而是先怀疑检索链路。常见的坑有这么几个。第一是切块策略不对文本切片太短把一个完整的实体或关键数字切成两半或者切片之间没有重叠导致关键信息落在缝隙里。第二是embedding模型选择不合适有些通用embedding模型在特定领域比如法律合同、医疗文本的语义召回能力明显偏弱。第三是相似度阈值设得过高明明有相关片段却被过滤掉了模型只能靠记忆胡编。我个人的做法是切片长度控制在256到512个字符左右保留10%到20%的重叠区域确保日期、合同编号、金额这类关键信息尽量完整地落在同一个切片里。选择embedding模型时先用一小批领域内真实query做召回评测看Top5命中率别只看排行榜上的综合分数。2.2 不只有大模型传统模型同样适用“数据先行”这个道理不限于大模型。我在调LightGBM回归模型的时候也踩过类似的坑验证集上误差突然变得离谱第一反应总以为是模型参数没调好但排查之后发现是训练集和验证集的某个特征分布不一致——训练集里某个字段的缺失值用了均值填充验证集却用了0填充。还有一次是做LSTM序列预测滑窗长度设置太短导致模型根本没有足够的历史信息去预测下一个点结果当然好不了。所以数据先行是一条跨模型类型的铁律。不管你是用Transformer架构做文本生成还是用滑动窗口滤波模型做信号平滑只要输出和预期不符先把输入数据的采集、清洗、切分流程完整过一遍。数据侧的bug成本最低影响却最大。2.3 排查时的日志与留档习惯既然要看模型看到了什么就必须把每次请求的输入完整记录下来。很多同学只在调试时打印一次prompt上线后就什么都不留了等到线上出问题再反推根本无从下手。我会在调用链路上加一层日志记录四样东西完整的系统提示词、用户输入的上下文片段、检索召回的具体内容、最终发给模型的参数temperature、top_p、max_tokens等。这样一旦出现模型答错的反馈我可以直接复现当时的输入条件而不是靠猜。这一层日志花费不多但在排查时能省掉你几天的命。3. 提示词是真正的“隐藏代码”把命令写成需求文档3.1 大多数人把提示词当聊天但它是需求文档我见过太多人把提示词写得像在跟朋友聊天帮我看看这个合同有没有问题给我提取一下日期。这种写法不是不行但完全依赖模型自己去揣摩你的意图。大模型不是读心术大师它只会严格按照字面指令执行。更好的做法是把提示词当成需求文档来写包含五个要素角色、任务、约束、输出格式、示例。我常用的提取类任务模板长这样你是一名合同审核助手。请从下面的合同文本中提取字段并输出JSON {签约日期: YYYY-MM-DD, 合同金额: 数字, 甲方: ...} 要求 1. 如果文本中没有明确信息输出null不要推测。 2. 金额只保留数字和币种不要写约字。 3. 不要输出除了JSON之外的任何内容。 合同文本 {context}这个模板看起来朴素但它把模型的自由发挥空间压缩到了最小。你会发现很多时候模型答错不是因为它蠢而是因为你在需求文档里留了太多模糊地带。3.2 正向指令优先反面教材用示例堵住提示词里有一个反直觉的规律负面指令往往不如正面指令有效。你写不要编造信息模型可能还是编但如果你写如果文本中没有明确信息输出null不要推测模型就更容易遵守。原因是模型在训练时见过太多不要xx后面跟着一堆例子的文本它很难把不要后面的内容当成真正的约束。更有效的做法是给一两个正确示例。但这里有个我踩过的深坑few-shot示例本身必须是完全正确的、且和真实任务同分布的。我曾经在一组示例里放了一个错误的输出格式模型在正式任务里忠实地复刻了这个错误格式我排查了很久才意识到是示例害的。所以每次改提示词先检查示例别让坏例子成为隐藏的误导源。3.3 拆分任务让模型先找证据再下结论很多复杂任务直接让模型一步到位很容易错。比如判断这份合同里甲方是否违约模型可能直接给你一个理所当然的结论。更稳的做法是让模型先提取证据再基于证据下结论。我会在提示词里加一句先引用合同原文中与甲方义务相关的条款再基于这些条款给出判断。这相当于让模型先做一步信息定位再做一步推理。实测下来这种先证据后结论的方式能明显降低多步推理类任务的错误率。它的原理也很好理解把一个大任务拆成两个小任务每一步的搜索空间都变小了模型自然更容易走对。4. 采样参数与幻觉边界概率的游戏里没有100%4.1 温度、top_p和max_tokens怎么背锅很多人不知道大模型的每次输出都是一次概率采样而不是在数据库里查答案。它预测下一个词的概率分布然后从中抽一个词。所以同一个问题问两次结果可能不一样这不是bug是设计如此。这里就牵扯到几个参数。temperature控制分布的尖锐程度越低越倾向于选概率最大的词越高越随机top_p控制候选词的范围相当于只从累计概率前p的词汇里采样max_tokens决定最多生成多长。我见过一次错误答案其实是max_tokens设得太小模型在关键结论还没写完时就被截断了看起来像答非所问。所以排查的时候先看一眼参数配置。表格化一下我的经验参数影响适用场景temperature0~0.3输出稳定、保守信息抽取、代码生成、结构化输出temperature0.7~1.0输出多样、有创意文案创作、头脑风暴top_p配合使用控制候选范围与temperature二选一微调即可max_tokens防止截断按任务最长输出预留空间对于我们只想要正确答案的任务我一般直接temperature设为0并固定随机种子。先把随机性这个变量干掉再去谈模型能力问题。4.2 低显存与量化模型的“能力折扣”如果你是在本地低显存环境跑模型用了4bit或8bit量化那有一个你必须接受的事实量化会带来一定的推理能力损耗尤其是在复杂推理和长文本理解上。这时候出现的错误答案本质上是你用算力换来的妥协不是模型原本的能力上限。我并不是说低显存不能干活而是说要合理预期。小型量化模型适合做分类、抽取、关键词生成这类窄而浅的任务不适合做复杂推理。如果你非要用8G显存跑一个7B量化模型去解决数学竞赛题那出错是正常的这不是模型的错是任务和资源不匹配。这个时候要么换更强的API要么把任务降维拆解成更适合小模型的形式。4.3 幻觉不可怕可怕的是系统设计没留“拒答”通道大模型的幻觉是抹不掉的本性——它天生就会一本正经地胡说八道。所以任何一个正经的AI应用都应该给模型留一条拒答通道当上下文信息不足时允许它输出信息不足无法判断而不是强迫它硬挤出一个答案。这一条特别重要。我在合同抽取任务里加上了如果文本中没有明确信息输出null不要推测之后错误率下降非常明显。表面上看起来模型答得少了但真正有用的准确率反而上去了。你要的是一个可靠的系统不是一个自信的骗子。与其事后跟模型较劲不如在设计阶段就给不确定性留一个出口。5. 怎么确认“这次真的得怪模型”三组对照实验5.1 实验一换提示词不换模型如果错误答案出现了第一个对照实验是保持模型和数据不变把提示词换成最清晰、最简单、甚至官方推荐的版本。如果换了提示词之后答案变对了那说明问题出在提示词而不是模型。这个实验的成本最低也因为太简单反而被很多人忽略。一个真实的案例是团队反馈某个模型不会做表格提取我用一个角色更明确、加了JSON Schema的提示词跑了同一份表格一次就对了。相同模型、相同数据、相同参数唯一变量是提示词。这足以说明问题。5.2 实验二换强模型不换输入如果换提示词没用再做第二个实验保持输入不变换一个明显更强的模型来跑——比如从本地量化模型换到商用API模型或者从7B级别换到70B级别。用模型A和模型B跑同一份输入。如果强模型能答对说明输入本身没问题是原模型的能力边界不够。如果强模型也答错那就要重新审视任务的定义、数据的完整性或者问题本身是否矛盾。我做这个实验时还有一个习惯把强模型的输出也存下来当作后续优化的小型标注参考。5.3 实验三重复测试消除随机性第三个实验是用来区分随机错误和稳定错误的。把temperature设为0固定随机种子同一个问题连续跑10次。如果10次结果不一致说明你的应用对随机性太敏感问题出在采样参数如果10次结果一致地错那才是模型或提示词层面的稳定问题。我遇到过不少时好时坏的case用这个实验一测就明白了不是模型突然变笨了而是应用层用了偏高的temperature导致同样的输入有时对有时错。生产环境里该稳定的时候就得稳定创意和随机的需求另说。5.4 一台“毛坯房”换一台“精装房”的成本账做完三组实验你基本能把责任划分清楚。但还有一笔账要算就算真的是模型能力不足你得评估换模型的代价。商用API能力强但会带来持续的token成本也就是模型API费用会肉眼可见地涨。本地开源模型便宜但需要显存、电费、运维精力。我的建议是先用提示词工程和检索优化把现有模型的潜力榨干再谈升级模型。大多数业务场景的问题根本轮不到换模型——换个说法就能解决的事没必要花十倍的钱。升级模型是最后一张牌不是你遇到第一个错误答案时就要打出去的牌。6. 把一次错误变成长期资产bad case 管理流程6.1 留档、归类、回归测试三步走普通用户遇到错误答案是吐槽工程师遇到错误答案应该把它当成资产。我每一轮迭代都会维护一个bad case清单流程就三步留档、归类、回归。留档是指把出错时的完整输入、上下文、参数、错误输出都存下来。归类是指给每个case打一个根因标签比如数据缺失检索失败提示词歧义参数不当能力不足。回归是指定期把历史bad case重新跑一遍确认修复没有引入新的问题。这一步看似繁琐但它能让你从天天救火变成系统迭代。每次改完提示词或检索策略我不会只盯着一两个新case的效果而是把过去一周积累的bad case全部重跑一遍看整体准确率是升还是降。只有这样你才知道你的修改是真正变好了还是只是把问题从A挪到了B。6.2 微调是最后手段不是第一选项很多团队一遇到模型答不好就想微调这在我看来是本末倒置。微调成本高、周期长而且很容易踩过拟合的坑。数据、提示词、检索、参数都优化到极限之后如果还有一类稳定的bad case无法解决那时候才轮到微调出场。而且微调的目标也不是让模型学会某一个case的正确答案而是让模型学会某一类问题的通用解决模式。这意味着你的训练集至少要覆盖几十个同类型样本并且要和验证集做好区分否则模型只是把样本背了下来遇到稍微变化一点的提问照样错。传统模型也是一样——LightGBM回归模型拟合不好时先看特征工程和数据质量而不是一上来就调树深度或者动正则项。6.3 我的个人体会别把单个case直接喂给训练集最后分享一个我自己踩出来的原则单个bad case绝不直接丢进训练集。原因很简单大模型和小模型都非常容易过拟合单一样本。你喂进去一个case它可能确实学会了这个case的答案但代价是损失了一部分泛化能力而且这种损失很难提前察觉。我现在的流程是一个bad case先走规则修复和提示词修复解决不了就攒着。攒到同一类型有足够多的样本再合成一个小数据集针对性地做增量训练或微调然后立刻跑回归测试。这套流程走下来模型不是一个case一个case地补丁化而是一类问题一类问题地升级。我也说不清这是不是最优解但至少比改一次错一个的状态好太多了。如果你也在被各种离谱的模型答案折磨不妨先试试换个心态答案错了先别怪模型。
答案错了先别怪模型。这句话并不是给模型开脱而是我这些年被现实教育出来的习惯。每次有同事气冲冲跑来跟我说这个模型答错了这模型太蠢了我通常不会第一时间打开模型配置而是先问三个问题它到底看到了什么输入你给它的指令说了什么这次运行的参数是什么原因很简单——大模型是一个概率系统它输出的每一个字都建立在你喂给它的上下文之上。你以为它应该知道它其实只能根据输入去猜。这篇文章就专门聊聊当模型给出一个错误答案时该怎么一步步定位真正的病灶并顺手把排查思路沉淀成一套能复用的方法。无论你是在调本地部署的开源模型还是接商用API亦或是在训练LightGBM回归模型这套思路都适用数据先行提示词次之参数第三最后才轮到模型本身。1. 那次“模型智障”时刻问题其实出在我的配置上1.1 一个被我冤枉的本地模型先讲个我自己的真实案例。有一阵子我在本地部署了一个开源对话模型做合同关键字段抽取显卡显存不大只能跑4bit量化模型参数在可接受范围内。任务很简单从一段合同文本里提取签约日期。结果模型返回了一个明显不存在的日期年份都对不上。我当时的第一个念头就是这模型不行得换更大的。但我强迫自己先别急着换去看了一眼实际发给模型的输入发现了一个很尴尬的事实合同原文被切片成了两块签约日期恰好被切在上一块的末尾而检索召回只返回了下一块。模型看到的文本里根本没有任何日期信息。这种情况下大模型会默认脑补一个最像日期的内容填进去——这是它的默认行为不是玄学。所以错的不是模型是我的切片策略和检索策略。这件事之后我养成了一个习惯每次模型答错先看它到底看到了什么而不是先看它是什么模型。1.2 先给错误答案做个“分诊”很多人一遇到模型输出不对就陷入重新生成一次看看的循环。但更高效的做法是先给错误答案做个分诊根据不同症状决定优先排查的方向。我把自己常遇到的几类问题整理成了一个表错误答案的样子优先排查方向常见根因内容看着合理但关键事实不对上下文与检索文本被截断、切片切断关键信息、召回片段不完整反复输出同一句话或模板话采样参数temperature过低、重复惩罚设置不当输出格式乱七八糟输出约束没给明确的JSON Schema或格式示例答非所问、回答过于简短提示词指令不明确、缺少角色设定和示例同一问题多次结果差异大采样参数/提示词随机性太高、提示词对细节过于敏感这个表不是标准答案但它能帮你快速缩小排查范围。更重要的是一种心态错误答案只是一个症状模型权重只是众多嫌疑人之中的一个而且往往不是真正的凶手。接下来我按排查优先级逐一展开。2. 排查第一站数据与上下文而不是模型权重2.1 模型的输入比你想象的更“残缺”大模型本质上是一个输入决定输出的函数。你给它什么文本它就只能基于这个文本作答。所以在RAG检索增强生成场景里我从来不先怀疑生成模型而是先怀疑检索链路。常见的坑有这么几个。第一是切块策略不对文本切片太短把一个完整的实体或关键数字切成两半或者切片之间没有重叠导致关键信息落在缝隙里。第二是embedding模型选择不合适有些通用embedding模型在特定领域比如法律合同、医疗文本的语义召回能力明显偏弱。第三是相似度阈值设得过高明明有相关片段却被过滤掉了模型只能靠记忆胡编。我个人的做法是切片长度控制在256到512个字符左右保留10%到20%的重叠区域确保日期、合同编号、金额这类关键信息尽量完整地落在同一个切片里。选择embedding模型时先用一小批领域内真实query做召回评测看Top5命中率别只看排行榜上的综合分数。2.2 不只有大模型传统模型同样适用“数据先行”这个道理不限于大模型。我在调LightGBM回归模型的时候也踩过类似的坑验证集上误差突然变得离谱第一反应总以为是模型参数没调好但排查之后发现是训练集和验证集的某个特征分布不一致——训练集里某个字段的缺失值用了均值填充验证集却用了0填充。还有一次是做LSTM序列预测滑窗长度设置太短导致模型根本没有足够的历史信息去预测下一个点结果当然好不了。所以数据先行是一条跨模型类型的铁律。不管你是用Transformer架构做文本生成还是用滑动窗口滤波模型做信号平滑只要输出和预期不符先把输入数据的采集、清洗、切分流程完整过一遍。数据侧的bug成本最低影响却最大。2.3 排查时的日志与留档习惯既然要看模型看到了什么就必须把每次请求的输入完整记录下来。很多同学只在调试时打印一次prompt上线后就什么都不留了等到线上出问题再反推根本无从下手。我会在调用链路上加一层日志记录四样东西完整的系统提示词、用户输入的上下文片段、检索召回的具体内容、最终发给模型的参数temperature、top_p、max_tokens等。这样一旦出现模型答错的反馈我可以直接复现当时的输入条件而不是靠猜。这一层日志花费不多但在排查时能省掉你几天的命。3. 提示词是真正的“隐藏代码”把命令写成需求文档3.1 大多数人把提示词当聊天但它是需求文档我见过太多人把提示词写得像在跟朋友聊天帮我看看这个合同有没有问题给我提取一下日期。这种写法不是不行但完全依赖模型自己去揣摩你的意图。大模型不是读心术大师它只会严格按照字面指令执行。更好的做法是把提示词当成需求文档来写包含五个要素角色、任务、约束、输出格式、示例。我常用的提取类任务模板长这样你是一名合同审核助手。请从下面的合同文本中提取字段并输出JSON {签约日期: YYYY-MM-DD, 合同金额: 数字, 甲方: ...} 要求 1. 如果文本中没有明确信息输出null不要推测。 2. 金额只保留数字和币种不要写约字。 3. 不要输出除了JSON之外的任何内容。 合同文本 {context}这个模板看起来朴素但它把模型的自由发挥空间压缩到了最小。你会发现很多时候模型答错不是因为它蠢而是因为你在需求文档里留了太多模糊地带。3.2 正向指令优先反面教材用示例堵住提示词里有一个反直觉的规律负面指令往往不如正面指令有效。你写不要编造信息模型可能还是编但如果你写如果文本中没有明确信息输出null不要推测模型就更容易遵守。原因是模型在训练时见过太多不要xx后面跟着一堆例子的文本它很难把不要后面的内容当成真正的约束。更有效的做法是给一两个正确示例。但这里有个我踩过的深坑few-shot示例本身必须是完全正确的、且和真实任务同分布的。我曾经在一组示例里放了一个错误的输出格式模型在正式任务里忠实地复刻了这个错误格式我排查了很久才意识到是示例害的。所以每次改提示词先检查示例别让坏例子成为隐藏的误导源。3.3 拆分任务让模型先找证据再下结论很多复杂任务直接让模型一步到位很容易错。比如判断这份合同里甲方是否违约模型可能直接给你一个理所当然的结论。更稳的做法是让模型先提取证据再基于证据下结论。我会在提示词里加一句先引用合同原文中与甲方义务相关的条款再基于这些条款给出判断。这相当于让模型先做一步信息定位再做一步推理。实测下来这种先证据后结论的方式能明显降低多步推理类任务的错误率。它的原理也很好理解把一个大任务拆成两个小任务每一步的搜索空间都变小了模型自然更容易走对。4. 采样参数与幻觉边界概率的游戏里没有100%4.1 温度、top_p和max_tokens怎么背锅很多人不知道大模型的每次输出都是一次概率采样而不是在数据库里查答案。它预测下一个词的概率分布然后从中抽一个词。所以同一个问题问两次结果可能不一样这不是bug是设计如此。这里就牵扯到几个参数。temperature控制分布的尖锐程度越低越倾向于选概率最大的词越高越随机top_p控制候选词的范围相当于只从累计概率前p的词汇里采样max_tokens决定最多生成多长。我见过一次错误答案其实是max_tokens设得太小模型在关键结论还没写完时就被截断了看起来像答非所问。所以排查的时候先看一眼参数配置。表格化一下我的经验参数影响适用场景temperature0~0.3输出稳定、保守信息抽取、代码生成、结构化输出temperature0.7~1.0输出多样、有创意文案创作、头脑风暴top_p配合使用控制候选范围与temperature二选一微调即可max_tokens防止截断按任务最长输出预留空间对于我们只想要正确答案的任务我一般直接temperature设为0并固定随机种子。先把随机性这个变量干掉再去谈模型能力问题。4.2 低显存与量化模型的“能力折扣”如果你是在本地低显存环境跑模型用了4bit或8bit量化那有一个你必须接受的事实量化会带来一定的推理能力损耗尤其是在复杂推理和长文本理解上。这时候出现的错误答案本质上是你用算力换来的妥协不是模型原本的能力上限。我并不是说低显存不能干活而是说要合理预期。小型量化模型适合做分类、抽取、关键词生成这类窄而浅的任务不适合做复杂推理。如果你非要用8G显存跑一个7B量化模型去解决数学竞赛题那出错是正常的这不是模型的错是任务和资源不匹配。这个时候要么换更强的API要么把任务降维拆解成更适合小模型的形式。4.3 幻觉不可怕可怕的是系统设计没留“拒答”通道大模型的幻觉是抹不掉的本性——它天生就会一本正经地胡说八道。所以任何一个正经的AI应用都应该给模型留一条拒答通道当上下文信息不足时允许它输出信息不足无法判断而不是强迫它硬挤出一个答案。这一条特别重要。我在合同抽取任务里加上了如果文本中没有明确信息输出null不要推测之后错误率下降非常明显。表面上看起来模型答得少了但真正有用的准确率反而上去了。你要的是一个可靠的系统不是一个自信的骗子。与其事后跟模型较劲不如在设计阶段就给不确定性留一个出口。5. 怎么确认“这次真的得怪模型”三组对照实验5.1 实验一换提示词不换模型如果错误答案出现了第一个对照实验是保持模型和数据不变把提示词换成最清晰、最简单、甚至官方推荐的版本。如果换了提示词之后答案变对了那说明问题出在提示词而不是模型。这个实验的成本最低也因为太简单反而被很多人忽略。一个真实的案例是团队反馈某个模型不会做表格提取我用一个角色更明确、加了JSON Schema的提示词跑了同一份表格一次就对了。相同模型、相同数据、相同参数唯一变量是提示词。这足以说明问题。5.2 实验二换强模型不换输入如果换提示词没用再做第二个实验保持输入不变换一个明显更强的模型来跑——比如从本地量化模型换到商用API模型或者从7B级别换到70B级别。用模型A和模型B跑同一份输入。如果强模型能答对说明输入本身没问题是原模型的能力边界不够。如果强模型也答错那就要重新审视任务的定义、数据的完整性或者问题本身是否矛盾。我做这个实验时还有一个习惯把强模型的输出也存下来当作后续优化的小型标注参考。5.3 实验三重复测试消除随机性第三个实验是用来区分随机错误和稳定错误的。把temperature设为0固定随机种子同一个问题连续跑10次。如果10次结果不一致说明你的应用对随机性太敏感问题出在采样参数如果10次结果一致地错那才是模型或提示词层面的稳定问题。我遇到过不少时好时坏的case用这个实验一测就明白了不是模型突然变笨了而是应用层用了偏高的temperature导致同样的输入有时对有时错。生产环境里该稳定的时候就得稳定创意和随机的需求另说。5.4 一台“毛坯房”换一台“精装房”的成本账做完三组实验你基本能把责任划分清楚。但还有一笔账要算就算真的是模型能力不足你得评估换模型的代价。商用API能力强但会带来持续的token成本也就是模型API费用会肉眼可见地涨。本地开源模型便宜但需要显存、电费、运维精力。我的建议是先用提示词工程和检索优化把现有模型的潜力榨干再谈升级模型。大多数业务场景的问题根本轮不到换模型——换个说法就能解决的事没必要花十倍的钱。升级模型是最后一张牌不是你遇到第一个错误答案时就要打出去的牌。6. 把一次错误变成长期资产bad case 管理流程6.1 留档、归类、回归测试三步走普通用户遇到错误答案是吐槽工程师遇到错误答案应该把它当成资产。我每一轮迭代都会维护一个bad case清单流程就三步留档、归类、回归。留档是指把出错时的完整输入、上下文、参数、错误输出都存下来。归类是指给每个case打一个根因标签比如数据缺失检索失败提示词歧义参数不当能力不足。回归是指定期把历史bad case重新跑一遍确认修复没有引入新的问题。这一步看似繁琐但它能让你从天天救火变成系统迭代。每次改完提示词或检索策略我不会只盯着一两个新case的效果而是把过去一周积累的bad case全部重跑一遍看整体准确率是升还是降。只有这样你才知道你的修改是真正变好了还是只是把问题从A挪到了B。6.2 微调是最后手段不是第一选项很多团队一遇到模型答不好就想微调这在我看来是本末倒置。微调成本高、周期长而且很容易踩过拟合的坑。数据、提示词、检索、参数都优化到极限之后如果还有一类稳定的bad case无法解决那时候才轮到微调出场。而且微调的目标也不是让模型学会某一个case的正确答案而是让模型学会某一类问题的通用解决模式。这意味着你的训练集至少要覆盖几十个同类型样本并且要和验证集做好区分否则模型只是把样本背了下来遇到稍微变化一点的提问照样错。传统模型也是一样——LightGBM回归模型拟合不好时先看特征工程和数据质量而不是一上来就调树深度或者动正则项。6.3 我的个人体会别把单个case直接喂给训练集最后分享一个我自己踩出来的原则单个bad case绝不直接丢进训练集。原因很简单大模型和小模型都非常容易过拟合单一样本。你喂进去一个case它可能确实学会了这个case的答案但代价是损失了一部分泛化能力而且这种损失很难提前察觉。我现在的流程是一个bad case先走规则修复和提示词修复解决不了就攒着。攒到同一类型有足够多的样本再合成一个小数据集针对性地做增量训练或微调然后立刻跑回归测试。这套流程走下来模型不是一个case一个case地补丁化而是一类问题一类问题地升级。我也说不清这是不是最优解但至少比改一次错一个的状态好太多了。如果你也在被各种离谱的模型答案折磨不妨先试试换个心态答案错了先别怪模型。
