模型求解结果自查：Model Solution Check设计与落地

做模型求解板块的这段时间我最大的感受是再也不敢相信大模型直接吐出来的解了。早期我们做调度优化让大模型给产线排任务方案看起来逻辑严密、格式整齐结果一拿去跑约束检查某台设备的负载直接超了20%交付顺序还和硬性优先级反着来。模型给出的解释还振振有词说不超时的方法就是压缩休息时间。从那天开始我就琢磨一件事既然让AI去求解那也得让AI具备“对自己的答案做二次审计”的能力。这个想法最终收敛成一个独立的检查组件我们内部叫它 Model Solution Check。这篇文章就把这个工具的定位、设计思路、实现细节和踩坑过程完整讲一遍。Model Solution Check拆开来看就是“模型求解结果的检查器”。它不负责求解只负责在求解器给出方案之后用一套规则加语义校验的组合手段判断这个解是不是真的能落地、有没有违反显性约束、中间推导是否站得住脚。它主要由三类团队用得最多把大模型接进业务系统的AI应用开发者、做Agent编排和自动决策的同学以及那些已经尝过“模型一本正经跑偏”苦头的算法工程师。1. 为什么模型求解板块需要一层“自查工具”1.1 真正让人不放心的不是模型不够聪明而是错得很合理如果你只用大模型做文案生成、翻译、摘要输出错了通常只是“信息不准确”影响还可控。但一旦让模型去做求解类任务性质就变了。比如线性规划、排产调度、采购计划、折扣策略测算这类任务的特点是答案必须同时满足多条显性约束还必须目标最优或者接近最优。模型哪怕只违反其中一条约束这个解在业务上就是废纸甚至比不给答案更危险因为拿到方案的人可能直接照做。我见过太多案例模型输出的求解结果不是“明显错误”而是“看着完全合理、实际踩了暗坑”。它会在描述里把每条约束都念一遍让人以为它都考虑了可真正放到目标函数里去算成本超支、库存越界、顺序冲突全冒出来。为什么会这样因为纯生成式大模型在做长链路数值推理时本质是在“按概率续写”它擅长生成符合语义惯例的文本却不擅长对每个数值结果做精确的可行性校验。这是模型机制决定的盲区不是靠“换个更大的模型”就能彻底解决的问题。1.2 Model Solution Check 的定位解决“输出不敢直接用”的问题所以我们需要在求解器和业务之间加一道独立的审计闸门。Model Solution Check承担的角色相当于工程实践里的“测试环境”加“code review”。求解器负责给出候选方案检查器负责回答三个问题这个解的格式是否完整、有没有违反硬约束、各项指标是否达到业务要求。单看这三个问题规则引擎也能做一部分但不够。现实业务中约束往往分两类一类是结构化约束比如负载不能超过100、订单必须按优先级处理这类适合写规则另一类是语义化约束比如“不能因为赶进度牺牲安全交底”“分配人员时要考虑岗位匹配合理性”这类必须靠大模型来做语义理解和推演。Model Solution Check的价值就是把规则校验和LLM语义校验拼成一个完整的检查管道让无论结构化还是非结构化的错误都能被拦住。这个工具的设计目标是“三个不”不参与原始求解过程不通过简单重采样碰运气不让错误静默流向业务侧。它更像质检员只对最终交付物负责。1.3 两层价值拦截错误同时把错误翻译成求解器听得懂的反馈检查器如果只是返回一个“false”或者“不行”对实际流程帮助不大因为求解Agent不知道错在哪里、该改哪一步、往哪个方向调整。这也是很多自查类实现失败的原因只做了判断没有做归因只告诉模型“你错了”没告诉它“你的第3步违反第2条约束原因是把A任务分配给了B机器”。所以我们在Model Solution Check里特别做了一个结构叫失败原因标签。每条检查不过的项都必须带上问题类型、所在位置、违反的具体约束、偏差的数值等级和修改建议。这样一来整个流程就变成求解器给结果检查器发现问题把结构化的失败原因反馈给求解器求解器针对问题重新修正检查器继续验证。一个完整的“求解-检查-修正-复检”闭环。2. Model Solution Check 的整体设计思路2.1 最核心的思路让“解题的人”和“检查的人”分离在设计这个工具前我们试过一种偷懒做法让求解模型自己输出答案后再追加一句“请检查你的答案是否正确”。实测效果很差模型基本是在重复原来的过程错误发现率很低有时候还会自我否定把正确解改成错误解。这其实不难理解你让一个刚写完代码的人马上给自己做代码评审他通常会顺着原有思路给自己圆场很难跳出思维惯性去挑战自己。所以我的方案是角色分离。哪怕底层用的是同一个大模型也要在提示词设计、上下文隔离、消息历史管理上让“求解角色”和“检查角色”彼此独立。检查器不应该看到求解器完整的思维链而只需要拿到输入问题、约束清单和候选解然后以“外部审计员”的视角重新对方案做推演。这个设计来自工程里的四眼原则写代码的人和测代码的人不能是同一个人至少不能用同一条思路去测。在Agent架构里做这件事特别方便求解器和检查器就是两个不同system prompt的Agent甚至可以用不同的temperature。求解器用稍高的温度保留搜索多样性检查器用偏低的温度保证判定稳定性。2.2 三层检查通道的设计Models Solution Check具体怎么检查我把它拆成三个独立并行的通道每个通道抓一类问题规则通道检查输出结构是否合法。字段有没有缺失、枚举值是否在允许范围内、目标函数是否有返回、数字是不是乱码。数值通道把候选解代入业务约束和目标函数重新做一遍数学计算检查硬约束违反量、软约束惩罚值、预算使用率是否超限。语义通道让LLM检查器重新解读用户问题里的约束条件逐条和候选解对照专门抓那些规则写不出来、但人一眼能看出的“语义层面的不合理”。这三个通道为什么要分开因为它们背后的判定逻辑完全不同混在一起容易互相干扰。规则通道要求的是绝对确定性适合程序化执行数值通道必须有数学依据不是模型“感觉一下”就能代替的语义通道则要发挥模型的泛化理解能力。分开之后各自用自己最擅长的方式最后的判断结果再汇合到统一的检查报告里。2.3 自查不是一次性终检而是“检查-反馈-修正”的小闭环我最初犯的错是把它当成一次性的质量门禁模型输出完之后检查一遍通过就放行不通过就直接丢弃。结果发现问题大了很多解可能只是局部参数漂移整体框架完全没问题丢掉了太可惜而且如果没有修正机制用户就只能反复重试成本翻倍。后来改成带反馈回路的流程。检查器不通过时把结构化失败原因返回给求解侧让它带着“哪里错了、为什么错、怎么改”的提示去做新一轮求解。这一轮不是简单的重采样因为在提示里已经强制要求模型先解释错误原因再给出修改后的方案。整个闭环最多执行三轮防止模型陷入无限自我怀疑的循环。下面是一段最简化的流程伪代码def model_solution_check(question, constraints, solver, checker, max_rounds3): candidate solver.solve(question, constraints) for round_idx in range(max_rounds): report checker.verify(question, constraints, candidate) if report.is_passed(): return candidate, report candidate solver.revise(question, constraints, candidate, report.errors()) return None, report实际落地时还要加一个判断如果第三轮还没通过别再让模型自己兜圈子了直接把问题转给规则兜底或者人工介入。很多业务系统宁可让人多看一眼也不愿意让一个还没验证过的解自动跑到下游。3. 实操过程与核心环节实现3.1 求解器与检查器之间的数据接口要实现这套闭环第一步是让“求解器输出结果”和“检查器输入要求”之间有一份契约。最忌讳的是让检查器去解析自然语言含糊不清的方案描述那样第一道规则通道就直接废了。做法是定义统一的验收协议所有候选解必须用结构化格式输出约束描述也尽量结构化。这里给出一份简化版的交互结构你可以对照自己的业务做扩展。{ question: 为三个订单分配生产时段每个时段设备负载不超过8小时订单B优先级最高, constraints: { hard: [ {name: capacity, limit_per_slot: 8}, {name: priority, top: [B]} ], soft: [ {name: cost, minimize: true} ] }, candidate: { solution: [ {order: A, slot: T1, load: 3.5}, {order: B, slot: T1, load: 4.5}, {order: C, slot: T2, load: 7.0} ], total_cost: 126.5, summary: A与B同段C独占T2总成本可控 } }候选解里既有结构化字段solution、total_cost也有自然语言的summary。规则通道只解析结构化字段语义通道可以同时看summary和结构化字段。这样不同检查层次各取所需不会因为解析失败漏掉问题。检查报告也是一个结构化对象每个失败原因必须带标签方便求解器下一轮精准修订。我们实践的report结构长这样{ passed: false, summary: 候选解违反设备容量约束优先级排序不满足要求, details: [ { channel: numerical, error_code: HARD_CONSTRAINT_VIOLATION, location: T1 时段, message: T1实际负载8.0小时超过上限8.0小时, severity: high, suggestion: 将A或B移出T1时段或降低单个订单占用时长 }, { channel: semantic, error_code: PRIORITY_MISMATCH, location: 整体排序, message: 优先级最高的B没有安排在最早可生产的时段, severity: medium, suggestion: 把方案重构为B优先占用最早时段 } ] }这份报告非常关键。它不只是给人看的也是喂回给求解Agent的“修改指令”。反馈信息越具体下一轮迭代的有效率越高。我见过很多自查流程失效就是因为只返回“方案不合格”而不告诉模型具体不合规的字段和位置模型拿到这种反馈就像无头苍蝇一样乱撞。3.2 检查器的Prompt工程与校验策略检查器的系统提示词是整个工具里最见功力的一环。写得太宽松它会把错误解放过去写得太苛刻它会把正确解误杀。我们经过多轮调整沉淀出一套比较稳的提示结构核心是让检查器扮演“挑刺型审计员”并且强制它做“自解释”。给出一份可复制的提示模板你们可以在这个基础上改你是一名严格的结果审计员负责对上游求解Agent给出的候选解进行独立校验。 不要急于肯定你的唯一职责是尽力找到候选解中的漏洞。 请按以下顺序执行 1. 重新提取用户问题中的所有约束条件逐条列成编号清单不得遗漏。 2. 将候选解与每一条约束逐一对照判断是否违反。 3. 检查候选解是否有遗漏字段、空值、格式问题。 4. 如果候选解声称“满足目标最优”请尝试在逻辑上指出它可能不是最优的证据。 输出要求 - 先输出“校验结论”PASS 或 FAIL。 - 如果FAIL必须列出具体失败项每项包含约束编号、候选解位置、违反原因、修改建议。 - 如果你无法确定某个约束是否满足请在结论中标记“UNCERTAIN”不要自行猜测。这套提示词有两个关键点。第一“重新提取约束”这一步非常重要它逼着检查器把问题里的约束全部先显性化一遍而不是默认自己懂了。第二允许输出“UNCERTAIN”这能让检查器在不确定时不必强行站队防止它编造一个判断理由。为了减少“求解和检查用同一模型导致错误被惯性放行”的问题我们还在提示里加了对抗性要求如果检查器和求解器是同一个底层模型就让检查器用极低的temperature运行并在指令中强调“你不能参考原始方案里隐含的假设必须独立推导”。3.3 阈值、轮次和回退策略的配置Model Solution Check看起来是纯逻辑工具但它还是引入了不少需要工程调优的参数。三个参数对一个稳定版本影响最大最大修正轮数、软约束容忍度、置信阈值。先把最常用的参数和取值逻辑整理出来方便大家抄作业参数名默认值作用调整建议max_rounds3求解-检查闭环最多执行几轮轮数太高会增加成本和延迟太低又会漏掉可修复的错误soft_tolerance0.05软约束惩罚值相对允许浮动的比例业务上不允许妥协的硬约束必须设为0hard_modestrict硬约束违反时是否立即失败通常保持strict除非是探索性分析场景confidence_threshold0.9语义通道通过时要求的最小置信度高风险场景建议提到0.95低风险场景可降到0.8log_full_reporttrue是否记录每轮完整校验报告排查问题时强烈建议开启这里特别注意软约束和硬约束的区别。硬约束违反一次不管后面方案多优秀都应该直接打回软约束则可以通过设置容忍度来平衡。比如成本最小化是软目标允许方案比最优方案高5%以内但设备负载超过上限1小时就是硬伤必须退回。修正轮数我建议设置为3以内。第一轮通常能修掉大部分规则和数值层错误第二轮能处理语义层和方案结构问题如果两轮都不过第三轮通过的概率就很低了再跑下去只是在烧token。到第三轮还没通过的工具我倾向于输出失败报告并交给人工处置而不是无限放宽校验标准。3.4 建立最小验证集没有基准就无法评估检查器“检查器自己也是大模型”这句话说起来轻巧落地起来要命。你凭什么相信检查器的判断是可靠的必须用一套带标注的数据集去测它。我们建了一个最小的校验基准集包含三类样本第一类是正确解用来测检查器会不会误杀第二类是人为注入的错误解违反约束、改错数字、目标计算不对用来测检查器能不能发现问题第三类是语义型错误解比如所有数字都合规但方案本身与用户需求南辕北辙。这个基准集不用大20到30个案例就足够平时调参用了。用这个基准集可以算几个核心指标错误拦截率、正确解误杀率、单次检查平均耗时的token数。我在实操中发现一个很反直觉的现象检查器的错误拦截率并不是越高越好。如果为了让拦截率从95%提到98%误杀率从1%涨到8%这明显不划算因为真实业务里正确解被反复打回重算的成本往往比偶尔漏掉一个错误解更高。所以调优时要同时看两个指标别只盯着一边。4. 落地过程中的坑与排查技巧4.1 五个最常见的翻车现场工具上线后真正有价值的不是设计得多么完美而是故障出现时能不能快速定位。我梳理了五个最经常遇到的问题几乎每个团队都会踩到几个现象可能原因处理措施检查报告显示通过但下游业务还是发现方案不能用目标函数本身没有参与校验只检查了约束在数值通道里增加目标函数值的预期范围校验真实错误解被语义通道误判为正确检查器只核对了解释性文本没有重算数值语义检查前先让模型自己列公式并代入候选解正确解频繁被打回求解器一直改错方向语义通道PUA太严重提示词里“挑刺”成分过重调整提示词为“寻找客观问题”而不是“寻找任何可疑问题”修正两三轮后模型开始自我推翻反馈缺乏定位信息模型只能在局部打补丁让report里的每个error都带上location和suggestion单次请求耗时暴涨甚至超过业务容忍上限每轮调用多次大模型缺少短路机制先跑规则和数值通道通过了才启用语义通道这五类问题的共同根源大多是检查器的指令不够具体、跨模型调用顺序不合理、反馈与定位机制缺失。解决思路也都是从这些地方入手。4.2 排查时不要凭感觉按“分段日志”定位责任主体Model Solution Check是一个多环节流水线问题可能出在任何一层。排查的时候千万别直接看最终结论因为结论只有PASS或FAIL信息量太低了。建议在四个关键节点打日志求解器输出原始候选解、规则通道的校验结果、数值通道的计算中间值、语义通道的完整判断理由。比如有一次我们怀疑检查器误杀正确解查看日志发现规则通道已经PASS了数值通道也算出来负载在安全区间内但语义通道给了FAIL理由是“方案中没有体现B优先级最高”。回头看原始候选解里面的确把B排在了T3时段但实际约束里B只在同批次订单中优先并不要求全局最早时段。这是提示词对优先级理解过严导致的问题修改了检查器提示词里的约束解读方式就解决了。如果只看最终FAIL日志这个定位会费很长时间。还有一个排查技巧做控制变量。同一份候选解先只跑规则通道确认没有问题后再加数值通道最后单独开语义通道。每一层独立出来的结果能帮你迅速判断是哪个通道在误报。4.3 避免“检查即承认”解决裁判和考生共用大脑的问题这个坑非常隐蔽。我们最初为了控制成本让求解和检查调用同一个大模型API只换了个system prompt。结果发现当检查器看到一段“看起来很像自己生成的”答案时会表现出明显的路径依赖倾向于认可原解法的关键步骤。最典型的表现是数值算错的地方检查器在文字里会复述“负载为7.5小时”却完全没意识到7.5已经超过了7小时上限。这不是偶然错误是模型在“顺着已有结论做合理性解释”的认知偏误。解决思路有三条。第一如果预算允许检查和求解用不同的模型厂商比如求解用模型A检查用模型B这种偏误会弱很多。第二必须用同一模型时让检查器先不参考原始解只基于用户问题自己重新求解一遍再把两版结果做差异对照这是一个很有效的降偏方法。第三在语义通道前强制检查器把关键数值先格式化成待验算表达式再用数值通道的规则引擎去算避免模型心算。5. 这个思路还能延伸到哪些场景5.1 从数学模型到AI Coding把自查逻辑迁移到代码生成做完模型求解板块的Model Solution Check后我发现这套“求解器与检查器分离结构化失败反馈多轮修正”的逻辑可以非常自然地迁移到AI代码生成场景。代码生成本质上也是一个“生成候选解”的过程而AI写出来的代码经常是“看起来能跑但一注释就崩”跟模型给出不合理方案是同一种病。在AI Coding工具里代码评审Agent就是检查器编译和单元测试就是规则通道代码静态扫描就是数值通道语义理解部分负责看业务逻辑是否对得上需求。当一个Agent写完代码后我们不急着交付而是让另一个Agent根据需求列表逐条审查代码逻辑再把审查发现的不一致项反馈给编码Agent去修复。这和Model Solution Check的闭环结构完全一致。5.2 从静态检查到Agent行为审计往前端动作验证延伸另一个让我觉得方向很对的应用是把这套思路做成Agent执行过程的实时审计。现在很多Agent已经开始做多步骤的工具调用了比如下单、改配置、发消息、查库存。Agent每执行一个动作都可能造成真实影响而等全部跑完再来检查往往已经晚了。所以我在新的项目里倾向于用一个轻量级的Mini Check组件挂在Agent的每一步tool call之后。动作执行之前先过一遍“这个动作是否符合当前用户意图、是否具备执行权限、目标对象是否存在”等快速校验类似路线决策里的安全检查点。这种方式不需要做超大模型的完整评审只要结合规则引擎加少量语义判断就能把很多Agent执行过程中的低级错误拦在半路。目前这类思路还没有统一的成熟框架但实践中已经在向“可校验Agent”方向演化。如果你手头正在做一个AI Agent类应用我非常建议在功能设计一开始就把校验节点加进去而不是等上线后出了问题再加。5.3 从单条请求到模型部署把检查器变成独立服务最后说一点工程部署上的体会。刚做Model Solution Check时我把它写成了解题模块里的一个内部函数方便是方便但问题和瓶颈也随之而来检查逻辑和求解逻辑耦合在同一服务里排查日志互相干扰检查器的并发也拖垮了解题主流程的响应速度。后来我把它拆成独立的检查服务部署成单独的能力接口。求解服务通过HTTP调用检查接口检查服务内部再并行跑规则通道、数值通道和语义通道。好处是当业务请求量上来后我可以只扩容检查服务而不用动求解服务检查器的Prompt或规则更新也不会影响主营的求解逻辑。从部署角度看这更符合模型工程里对“独立验证层”的定位。在LLM应用的架构里生成和校验本来就是两个不同SLA的服务。生成追求多样性和吞吐校验追求稳定性和低延迟把它们塞在同一个进程里只会互相拖累。Model Solution Check作为独立的校验服务我一般会把它的超时时间设为求解服务的50%左右一旦检查服务超时就降级为“不拦截但记录warning”至少不让检查器成为整个业务流程的单点故障。我个人在实际落地过程中的体会是Model Solution Check这样的自查工具核心价值不在于让模型变得百分之百正确而在于给不可控的输出封了一个顶。模型可以从不够聪明到更聪明但只要这个校验层的设计是稳的最坏的结果也只是“转人工”不会出现“错误方案自动跑到业务下游”的事故。现在每次看到结构清晰、逻辑完整的AI方案我不再直接信任了一定会先丢给检查器过一遍。这个习惯正是做大模型应用工程化过程中我认为最值得养成的一个纪律。