目录一、四个故障站在同一条账本上一能调通掩盖了什么二它们不是四个独立问题1、共享同一份配额与时间预算2、处置动作会互相改写彼此的输入三贯穿场景智能工单的智能层四本文的判断、口径与不讨论的范围二、失败语义先翻译再处置一模型调用的失败至少要分成七类二四类业务动作1、可重试2、换模型重试3、降级4、直接失败三静默降级与版本漂移三、限流三种量纲、三处落点、一种拒绝语义一并发、速率、令牌预算为什么不能互相替代二网关、租户账本、供应商配额镜像三四二九与重试建议头的正确读法四本地闸门必须比对方更早动手四、降级换的是业务路径不是错误文案一四级阶梯二每一级必须对外可感知三回升比下降更危险四必须演练否则一定是坏的五、容灾提供商故障不是下游抖动一四层故障面二主备与多活三合规与数据驻留把候选集合先砍掉一半四容灾演练的最小矩阵六、模型切换可替换性是设计出来的一三种粒度与推进次序二路由层的四个输入与三条出路三离线、影子、灰度的对照次序四切回去的成本决定切不切得下去七、把四件事装成一条控制回路一装配次序二时间与配额预算切分三反馈路径与正反馈环八、落地代码形状与分层分工一统一入口二错误分类器、路由器、账本三网关、应用、供应商三侧分工九、观测、演练与发布门禁一必须能回答的十个问题二故障注入矩阵三两条告警与一张看板十、反模式清单与一页纸十一、结语从连通性到控制回路参考资料干货分享感谢您的阅读把大模型接进一个 Java 服务最快的路径是三行代码让这条链路在模型不可用、响应过慢、配额耗尽、提供商整段故障时仍然给出可解释、可回放、可降档的业务结果是另一件事。前者验证的是连通性后者交付的是控制回路。本次我们沿着一条完整的工程路径走一遍先把四类故障放到同一本账上切开再把失败翻译成四类业务动作然后分别讨论三种量纲的限流、四级阶梯的降级、四层故障面的容灾以及三种粒度的模型切换最后把四件事装回同一条由外向内的装配次序配上时间与令牌两本预算、统一入口的代码形状、故障注入矩阵与值班十问。限流保护配额降级保护业务路径容灾保护供应商切换是执行动作——四者只有共享同一份预算、同一套失败语义、同一个装配次序才构成能在故障那几分钟里自动收敛的控制系统。一、四个故障站在同一条账本上一能调通掩盖了什么联调环境里的大模型调用几乎总是成功的。密钥有效、额度充足、网络干净、每次都在两秒内返回完整内容。于是三行代码被原样保留进生产一个聊天客户端、一段提示、一次同步调用。上线当天之前没有人觉得这有什么问题。生产与联调的差别不在“会不会失败”而在“四类失败会不会同时出现并且共用同一份配额与同一段时延承诺”。模型不可用、响应过慢、配额耗尽、提供商整段故障在联调日志里各是一个偶发异常在生产里却是同一本账上的四笔透支。对其中一类做重试会把另外三类的余量一起吃掉。这四类故障还有一个共同的伪装它们在适配层常常被映射成同一个异常。框架为了抹平各家接口的形状差异会把状态码、响应头、错误体收成“调用失败”。业务代码于是写一个catch里面要么重试要么返回“系统繁忙”。这个catch在联调阶段永远进不去在生产的第一次抖动里会把四类完全不同的处置揉成同一种动作。把“能调通”和“能扛故障”并排放中间隔着五步而不是五个可以分别排期的独立需求。没有失败翻译限流拒绝会被当成模型故障去换供应商没有三处限流降级会在额度打空之后才发生那时已经没有余量可降没有四级降级容灾切过去之后只能给出一个更贵或更差的答案没有可回放的路由切过去之后说不清走了哪条路切回来也没有对照数据。五步必须一起推进这决定了本文的章节次序。二它们不是四个独立问题1、共享同一份配额与时间预算一次智能工单请求在入口处承诺了两件事分类要在八百毫秒内给出可落库的类目知识问答要在两秒内吐出第一个字。这两段时间不是“模型调用的超时”而是产品对坐席的承诺。同一笔请求还要记入三本配额账供应商按每分钟请求数计的 RPM、按每分钟词元数计的 TPM、按租户日额度计的金额。四类故障消耗的是同一组数字。模型不可用会触发重试重试消耗 RPM 与线程响应过慢会占住并发坑流式输出按字计费TPM 在用户已经离开之后仍在增长配额耗尽会让备用账号被一并打穿如果重试把四二九当成了普通失败提供商整段故障会把流量压到另一家另一家的额度与时延承诺立刻被改写。四类故障的处置如果各写各的结果一定是某一类的“自救”变成其他三类的“加害”。2、处置动作会互相改写彼此的输入限流的拒绝如果被重试当成“可以再试一次”到达率不降反升熔断如果把四二九算进失败率会在额度高峰期把健康依赖切断降级如果返回一个空对象并记为成功观测系统会认为回路已经收敛模型切换如果不管能力矩阵处置落点可能把“建议退款”执行成“真的退款”。这些反馈路径在稳态下都不显现只在故障期间才全部激活——而故障期间恰恰是最不适合发现它们的时刻。所以问题的正确形式不是“限流怎么配、降级怎么写、容灾怎么切、模型怎么换”四道填空而是“四个机制在同一条链路上按什么次序装配、共享哪一份预算、彼此的输入输出怎么定义”。后文第七章会把这条回路画完整在那之前必须先有一套失败语义否则回路的每一环都在用错信号。三贯穿场景智能工单的智能层抽象讨论需要一个落点。本文沿用一套面向客服坐席与运营同学的企业智能工单系统作为贯穿场景。它同时具备时延承诺、副作用、成本归账与供应商可替换是少数能把四类故障一次性长出来的题目。智能层有四个落点工程约束完全不同。工单分类的时延预算只有八百毫秒失败代价是派错组、首响时钟冻结可降级路径是规则引擎加人工。知识问答的时延预算是两秒首字失败代价是对客户做了错误承诺可降级路径是只检索不生成。回复草稿的时延预算是四秒完整输出失败代价是坐席空等、采纳率下降可降级路径是模板拼装。处置编排带着真实退款与短信失败代价不可回滚可降级路径只能是“只出建议不自动执行”——这个落点几乎不允许跨供应商热切。四个落点共用同一组供应商账号、同一份月度预算、同一套观测。后文所有例子都落在这四个落点上。分类用来讨论“必须在截止时间前给出可落库结果”问答用来讨论“首字延迟与生成速率是两种慢”草稿用来讨论“成本与效果的对照”处置用来讨论“带副作用的路径为什么不能靠换模型蒙过去”。四本文的判断、口径与不讨论的范围文中出现的超时基线、额度水位、放大倍数、成本比例都是量级示意用来说明设计意图与相对关系不是任何一家供应商的真实参数。落地时应以自身的压测结论与所调用服务的文档为准。请求体字段名在不同供应商之间存在差异文中展示的是结构与语义不是具体命名。三类东西本文不展开。第一类是提示词工程与模型效果调优——它们决定“说什么”本文只讨论“失败时走哪条路、这条路怎么被证明还活着”。第二类是检索、切分、重排这些智能层内部的质量问题——它们会改变令牌消耗与时延但处置原则与本文相同。第三类是把十次调用编排成一次 Agent 循环的工程——一次调用的控制回路和把十次调用编排起来的控制回路是两个话题前者是后者的地基。代码示例基于 Java 17 及以上JDK 21 的虚拟线程会改变并发闸门的一个结论文中会单独标明。异常处理遵循“捕获必须处理、禁止用异常控制流程、资源必须关闭”金额与额度用BigDecimal计量线程池禁止用工厂方法创建必须显式配置有界队列。二、失败语义先翻译再处置一模型调用的失败至少要分成七类“调用失败”不是一种失败。限流拒绝、瞬时抖动、模型过载、模型下线、内容拦截、上下文超长、余额与鉴权失败这七类的处置动作完全不同一个该减速一个该有限次重试一个该换同家小模型一个该换已评测过的版本一个重试一万次也没用一个该裁剪后重发一个该立刻告警并整档降级。把它们送进同一个catch可用性一定会出问题账单也一定会出问题。分类器必须放在适配层之上、业务层之下。框架会把各家错误码映射成统一异常但映射后的粒度往往只到“可重试 / 不可重试”。七类里至少有四类会被这层粒度抹平。抹平之后限流拒绝会去打备用模型内容拦截会去换一家再生成一遍欠费会把备用账号的额度也吃光。正确形状是一个错误分类器输入是状态码、响应头、异常类型与供应商名输出是下一节的四类业务动作中的一个外加是否允许跨家。业务代码里不允许再出现对状态码的二次解释。分类器本身要可测用真实线上见过的响应头做样本不要靠想象编造——想象出来的四二九往往比真实的更规整缺少重置时刻、限流维度、剩余配额这些决定动作的字段。还有一类失败不在这七类的状态码里却必须被看见供应商静默升级。请求里指定的是某个版本响应里带回的是另一个。它不报错不限流不超时只是效果变了。如果观测不记录“请求模型名”与“响应模型名”两个字段团队会把质量下跌归到自己上周的某次发布。这一类失败的处置不是重试而是告警并冻结灰度直到评测集给出对照。二四类业务动作分类器的输出必须是枚举不能是一段注释。四个动作对应四本不同的账选错的代价比失败本身更大因为它会改写配额、时延与观测口径。1、可重试适用瞬时抖动、可恢复的网关错误、连接重置。预算计入本层重试预算不另开一份配额账——每一次物理往返都要记入 RPM 与 TPM但它们属于同一次逻辑请求。次数上限由剩余截止时间除以单次超时反推再减一次留给降级。写成“固定重试三次”是错的分类落点八百毫秒的预算里三次各三百毫秒的重试在数学上不可能发生草稿落点四秒的预算里三次可能刚好把用户等走。流式调用的重试还有一条额外约束已经向坐席吐出内容之后原则上禁止重来。半截答案作废重发坐席看到的是一段突然换口吻的文字比失败更难解释。首字之前可以重试首字之后只能降级或失败。2、换模型重试适用模型过载、模型下线、同家模型级限流。预算走备用模型的独立配额账本不能从主模型的水位里“借”。降级链长度通常不超过两跳主模型到同家小模型再不行就离开“换模型”这个动作进入降级。内容拦截、租户合规拒绝、鉴权失败不允许进入这一支——换哪一家都应当失败。换模型时必须换提示词版本。拿为甲模型写的提示词去打乙模型测出来的不是乙模型的能力是乙模型对甲模型提示词的适应性。这一条在对照评测里会再写一次因为它是线上最常见的“切过去效果变差、于是再切回来”的原因。3、降级适用配额耗尽、整家故障、预算告急、准确率掉档。降级不再消耗高档模型的令牌换的是事先写好的业务路径。第四章会把路径写成四级阶梯。这里只需记住一条降级的输出必须带原因码且不能被记成技术成功。4、直接失败适用内容拦截、鉴权失败、契约不满足、以及“降级链也走不通且关能力尚未开启”的情况。预算零额外消耗。不允许把直接失败兜底成空对象、空列表或“暂无建议”——那是静默降级第十章会把它列为最危险的反模式。直接失败要按失败类别单独计数禁止并入一个笼统的错误率。一条硬规则值得单独写内容拦截换了模型也没用应当直接失败。对称的一条余额不足与密钥失效是调用方自己的问题熔断被调方毫无意义应当立刻告警并整档降级。把这两条写成分类器里的单元测试比写进设计文档更不容易在发版时丢掉。三静默降级与版本漂移适配层还有一种“成功”需要被翻译成失败返回了可解析的对象但对象来自一条不该走的路径。框架在解析失败后返回空对象、降级链走到了规则引擎却仍记为模型成功、供应商把模型版本悄悄换掉——三种静默的共同点是技术成功率百分之百业务指标在掉。对策是三个必留字段请求模型名与响应模型名两者不一致就是静默升级是否降级、降到哪一级、降级原因码缺一不可回放业务结果是否被人工改写这是质量信号而不是技术信号。成功率必须拆成两张曲线一张回答链路通不通一张回答事办成没有。只看前一张静默永远是绿的。三、限流三种量纲、三处落点、一种拒绝语义一并发、速率、令牌预算为什么不能互相替代大模型接口同时按三本账计费。并发保护的是调用方的线程与连接量纲是在途请求数。请求速率保护的是供应商的 RPM 配额量纲是每分钟请求数。令牌预算保护的是 TPM 与月度金额量纲是输入加输出的词元数。只限其中一本等于另外两本敞开。“我们已经做了 QPS 限流”仍然会在月底爆账单原因很具体。请求速率限制的是次数不是每次的体积。一次带八万词元上下文的问答和一次二十个词的分类在 RPM 账上是相同的一笔。并发限制的是占坑不是费用。流式输出可以占着一个并发坑慢慢吐令牌按输出字数持续计费用户已经离开账单还在涨。令牌预算卡得住烧钱卡不住线程占满一堆短请求可以把线程池打满而 TPM 几乎不动。三本账必须同时存在并且拒绝语义要能区分是哪一本打满。否则上游会用错动作该换短提示的去换了供应商该排队的去降了档该给某个租户停智能层的去重启了应用。拒绝码要写成枚举至少覆盖CONCURRENCY_EXHAUSTED、RPM_EXHAUSTED、TOKEN_BUDGET_EXHAUSTED三种外加供应商侧的PROVIDER_429。并发闸门在 JDK 21 虚拟线程下有一个容易被忽略的变化虚拟线程让“线程用尽”不再是第一约束连接池、文件句柄、供应商并发配额会先到顶。这时并发闸门的意义从“保护线程池”变成“保护下游许可”。许可数仍要显式配置不能因为换成虚拟线程就把闸门拆掉。二网关、租户账本、供应商配额镜像三本账还要落在三处每一处保护的对象不同。入口网关看见的是集群总到达率与恶意流量口径是请求数每秒按路由与租户切分它看不见这次调用会消耗多少词元所以不该在这一层做令牌估算。租户与任务账本看见的是单租户日额度、单任务月预算口径是估算词元加实际词元对账它看不见供应商此刻还剩多少配额。供应商配额镜像看见的是对方的 RPM、TPM 与并发口径按对方文档镜像一份本地闸门它看不见对方是否悄悄下调了阈值。本地闸门必须比对方更早动手。供应商的四二九是已经发生的伤害这次请求已经占用了对方的排队、已经计入你的错误率、已经可能触发上游重试。镜像闸门的目标不是精确等于对方阈值而是在对方拒绝之前把到达率压到安全区。阈值取对方公开值的七到八成留出突发与统计误差。对方没有公开值时用阶梯压测找到拐点再打七折。租户账本必须以实际用量为准、以估算用量为拦截。估算与实际必然有偏差。水位要分三级到八成告警值班介入检查是否异常租户或提示词膨胀到十成对该租户降精度改走小模型其它租户不受影响到十二成对该租户停止智能层请求进人工队列。到顶才拒绝等于把决策推到已经没有余量的时刻。全站一个硬顶的结果一定是大租户把小租户挤下去而故障看起来像“模型挂了”。网关这一层不要试图理解词元。它的任务是挡住明显的突发与扫描把精细账留给应用层。两层职责写进同一份配置是限流配乱的起点。网关拒绝要返回明确的配额类错误码应用层不要把它再翻译成“模型调用失败”。三四二九与重试建议头的正确读法四二九不是下游故障它是准入控制。读懂重试建议头才能决定是等待、换账本还是换供应商。信号至少有五样状态码或等价的配额耗尽语义等待建议秒数剩余配额、重置时刻、限流维度是账号级、模型级还是区域级是否伴随余额不足或密钥失效。后两样决定动作完全分叉——账号级耗尽要换账本模型级耗尽可换同家小模型整家耗尽走容灾余额不足则禁止再打任何一家。错误动作的清单比正确动作更有用。当成五零二做抖动重试会把到达率打得更高忽略建议头按固定退避再打会在对方明确要求等待的窗口里继续撞墙熔断该依赖会误伤其它健康模型把拒绝计入下游失败率会让值班去重启应用、回滚版本静默换一个更贵的模型硬过会在额度打满时把账单再推高一截。拒绝语义一旦在适配层被抹平外层只能放大。重试层看到的如果只是“调用失败”它会再发一次——而四二九的正确响应是减速不是加速。熔断层如果把四二九算进失败率会在额度高峰期把健康依赖切断高峰过后又在半开窗口里集中打回去。观测如果把四二九并入错误率真正该看的配额水位就永远排不到值班的第一眼。因此适配层必须把“被限流拒绝”做成一种一等公民的结果类型而不是一种异常。异常用来表达“不该发生的事”四二九是配额系统的正常输出。四本地闸门必须比对方更早动手把前面三节收成一条可执行的纪律本地永远先于对方拒绝。实现上是一面镜像闸门一面租户账本一面入口网关三面的拒绝都带类型都不抛成普通异常。镜像闸门按供应商加模型加区域三个维度建桶桶的补充速率取对方文档值的八成租户账本按租户加落点加自然日三个维度记账金额用BigDecimal禁止double网关按路由加租户做请求速率限制不碰词元。下面是租户账本拦截的一份参考实现。它的核心不是“怎么计数”而是“三级水位对应三种动作且对其他租户无副作用”。public final class TenantTokenLedger { public static final BigDecimal WARN_RATIO new BigDecimal(0.80); public static final BigDecimal DEGRADE_RATIO new BigDecimal(1.00); public static final BigDecimal STOP_RATIO new BigDecimal(1.20); private final TokenUsageStore store; private final AlarmService alarmService; public TenantTokenLedger(TokenUsageStore store, AlarmService alarmService) { this.store store; this.alarmService alarmService; } public LedgerDecision tryAcquire(TenantId tenantId, Endpoint endpoint, int estimatedTokens) { DailyQuota quota store.quotaOf(tenantId, endpoint); BigDecimal used store.usedTokens(tenantId, endpoint); BigDecimal projected used.add(BigDecimal.valueOf(estimatedTokens)); BigDecimal ratio projected.divide(quota.dailyLimit(), 4, RoundingMode.HALF_UP); if (ratio.compareTo(STOP_RATIO) 0) { return LedgerDecision.stop(ratio); } if (ratio.compareTo(DEGRADE_RATIO) 0) { return LedgerDecision.degradePrecision(ratio); } if (ratio.compareTo(WARN_RATIO) 0) { alarmService.warnQuota(tenantId, endpoint, ratio); return LedgerDecision.allow(ratio); } return LedgerDecision.allow(ratio); } public void commit(TenantId tenantId, Endpoint endpoint, int actualTokens) { store.addActual(tenantId, endpoint, actualTokens); } }估算用于拦截实际用于对账。两者长期偏离超过一成说明分词器口径或缓存折扣没有计入要修的是估算器不是把水位再放宽一档。影子调用与评测集回归必须走独立科目禁止混进业务账——混在一起会让“业务成本上涨”这个信号失去意义。四、降级换的是业务路径不是错误文案一四级阶梯降级被写得最多、被做得最假的是把异常翻译成一句“系统繁忙请稍后重试”。那不是降级那是把失败抛给坐席。真正的降级是换一条事先写好、事先演练过的业务路径。路径要做成四级阶梯按落点分别配置禁止四个落点共用同一张梯子。第一级是降精度把改写、重排、评判换成小模型召回略降坐席几乎无感成本下降明显时延通常变好。触发条件是 P99 变差或 TPM 到八成。分类落点降精度之后结构化输出的校验不能放松——字段仍要能落库只是允许少做一轮校验重试。第二级是降覆盖只对高优先级或特定类目启用智能层覆盖率下降坐席感知明显核心路径仍在边缘路径回人工。触发条件是配额到十成或单家过载。降覆盖不是随机抽掉一半请求而是按业务优先级切催办、投诉、涉及金额的工单留在智能层咨询类回人工。随机抽会让同一客户的连续工单体验分裂。第三级是降档位条件自动退回草稿待审自动化率归零人力成本回升副作用工具从模型手里收回。触发条件是准确率掉档或整家故障。这一级是处置落点的默认容灾动作——不是换一家继续自动退款而是把退款权收回。第四级是关能力智能层整体旁路回到纯人工工单系统。它必须真实可用且定期演练。这是熔断开关不是理论上的退路。触发条件是跨家容灾也失败或预算击穿。超过三十天没演练过的关能力路径应当被视为不存在。二每一级必须对外可感知阶梯有三条纪律。第一条每一级都必须是事先写好的业务路径。降精度之后分类仍要能落库降覆盖之后未覆盖的工单要能进人工队列关能力之后工单系统本身必须可独立运行。如果关能力之后工单列表都打不开说明智能层被写进了主路径的构造函数里旁路从来就不是旁路。第二条下降容易、回升困难。一次误操作即降档升档需要连续达标窗口。故障期间的自动回升会造成半开共振——刚恢复的模型被放量打回去再降再升形成方波。回升窗口建议覆盖一个完整的业务高峰而不是连续五分钟错误率正常。高峰与低谷的错误率不可比。第三条跳级必须是显式决策。从降精度直接关能力等于放弃了中间两级的缓冲。只有在“备用供应商同时不可用”这种已被演练过的场景下才允许跳级并且要在审计里留下跳级原因。值班同学按一个按钮跳到第四级是允许的代码里写if (errorRate 0.1) disableAll()是不允许的。四级阶梯要按落点分别配置。分类可以降到规则引擎问答可以降到只检索不生成草稿可以降到模板处置只能降到“只出建议”。处置落点没有“换个小模型继续自动退款”这一档。这一句在容灾章还会出现因为它同时是降级问题与切换问题。三回升比下降更危险下降是保护回升是冒险。刚恢复的供应商会在半开窗口里收到一波探测流量如果回升逻辑按错误率自动拉满探测会变成脉冲脉冲会把刚恢复的实例再次打进过载。正确的回升是受并发闸门约束的探测半开只许 N 个在途成功后再按比例放比例的步长写进配置禁止一次回到百分之百。回升还要看业务成功率不只看技术成功率。模型恢复了、四二九消失了但如果人工纠正率仍在高位说明恢复的是连通性不是质量。质量未恢复时回升等于把用户重新置于一个已知更差的路径上还关掉了已经在工作的降级路径。四必须演练否则一定是坏的兜底路径的共同问题是平时不走、需要时才走而不走的代码会腐化。三条可执行的做法按比例影子调用把千分之几的流量强制走低一档能力用同一套校验比对结果把降级次数与降级后的可用率做成两条独立曲线任何一条异常都告警每次模型或供应商变更后跑一遍覆盖四个档位的回归集。演练成本很低而没有演练过的降级路径几乎必然在需要时失效。静默降级是最危险的一种成功。接口成功率百分之百业务指标在掉——技术面全绿业务面全红。三种静默前面已经列过。这里补一条观测纪律降级必须打标并一路透传到坐席界面与审计表。坐席有权知道“这条建议来自规则引擎而不是模型”审计有权知道“那天晚上分类走的是哪一档”。把降级藏起来事后无法解释事前无法回升。五、容灾提供商故障不是下游抖动一四层故障面提供商故障的爆炸半径按层扩大处置也必须按层选择。区域不可达爆炸半径是该区域所有模型处置是切同家其它区域前提是数据驻留政策允许跨区。账号级失效爆炸半径是该密钥下全部额度处置是切备用账号或备用账本前提是密钥轮换与权限隔离已经做成。模型版本下线爆炸半径是依赖该版本的落点处置是切已评测过的新版本或同能力模型前提是评测集与提示词按模型分版本。整家下线爆炸半径是该供应商全部能力处置是跨供应商容灾走能力矩阵筛选前提是至少一家能力对齐的备选。同家换模型不是容灾跨家才是。同一家的区域故障、账号故障、版本下线常常会在短时间内变成整家不可用——因为它们共享网关、证书、计费与控制面。把备用模型放在同一家里等于把鸡蛋放在同一只篮子的不同格子里。格子着火的时候篮子也着火。跨家容灾的代价是能力矩阵不齐结构化输出、工具调用、上下文窗口、安全过滤级别都不一样。所以容灾切换不是改一个模型名而是走一遍路由层的五步筛选。处置编排这种带副作用的落点跨家热切要格外谨慎两家对工具参数的理解不同可能把“建议退款”执行成“真的退款”。这类落点的容灾默认是降档而不是换一家继续自动执行。密钥与账号的隔离经常被当成运维细节实际上它是爆炸半径的开关。主备账号共用一个密钥账号级失效会变成整家失效。主备账号的权限集合如果完全相同主账号泄露时备账号没有减震。正确做法是备账号只开通容灾所需的模型与区域额度单独封顶轮换周期与主账号错开。凭据禁止写进配置文件与镜像必须走凭据服务轮换时正在飞行的请求用旧凭据完成新请求用新凭据中间状态要能同时验两种。二主备与多活主备与多活不是可用性口味问题是能力与成本的结构选择。主备日常百分之百走主供应商备选只在故障时拉起成本低平时只维护一套提示词与一套评测风险是备选长期不走故障当天一定是生的。多活日常按比例或按租户拆到两家及以上切换时延接近于零代价是每家一套提示、一套评测、一份对照能力不齐会导致同一落点效果分裂。推荐默认是“主备加影子”而不是一上来多活。多数团队高估了整家下线的频率低估了维护两套提示词的成本。每一次业务变更都要在两边同步并各跑一次评测人手不够时两边都会变浅。影子调用让备选每天都见到真实流量分布却不对外生效。它把主备的“生”变成“熟”同时把多活的账单从双倍改成“主份加抽样”。只有在单家配额长期不够、或合规强制数据驻留到不同提供商时才值得把多活做成日常结构。即便如此也按任务拆不按请求拆。按请求拆会让同一张工单的分类走甲、草稿走乙坐席看到的是口吻分裂的两段文字排障时还要拼两家的日志。按任务拆的意思是分类落点可以长期走甲草稿落点可以长期走乙一张工单内部保持一致。多活还有一笔常常被漏掉的账两家的安全过滤级别不同。甲拦下的提示注入乙可能放行甲误拦的正常工单乙可能生成。过滤级别必须进入能力矩阵的一票否决项不能等灰度时用线上工单去发现。三合规与数据驻留把候选集合先砍掉一半跨区域、跨供应商的第一道门不是效果是合规。租户合同里写了数据不得出境候选集合里所有境外端点都要在路由的第二步被滤掉而不是在出了问题之后靠人工切回。模型厂商的训练用途条款、日志留存周期、子处理器清单同样是一票否决。能力矩阵把这些项放在效果与成本前面不是因为它们更“正确”而是因为它们一旦被打破后面的对照评测没有意义——评测集再漂亮合同已经违约。矩阵的用法不是“找一个全能模型”而是“为每个落点划定候选集合”。分类落点的候选可以很宽处置落点的候选通常只有一到两家。为了一个不存在的第三选项去做抽象是浪费。安全过滤与数据驻留是一票否决项。矩阵要按季度复核供应商会静默升级模型版本、调整过滤策略、变更区域可用性——准入条件是活的不是一纸清单。四容灾演练的最小矩阵不演练的容灾等于没有。最小矩阵覆盖四层故障面各一次外加一次“备选同时失败”。主区域流量打到备区看时延与错误率是否回到承诺内主动吊销主密钥看切换时延是否在分钟级以内把主模型版本在预发标记为下线看路由是否切到已评测版本而不是让业务代码改模型名发版把主供应商整段注入失败看是跨家还是降档最后把备选也打掉看关能力之后工单系统是否可独立运行。不可接受的现象要写进演练手册同家内部空转、接口成功但业务空转、处置落点跨家自动执行。演练要在预发用真实供应商账号做不要只用桩。桩只能验证分类器的分支验证不了对方四二九的响应头、静默升级的版本号、以及跨家切换后的真实效果差。每季度至少做一次整家失败演练并把“关能力后工单系统可独立运行”写成发布门禁。六、模型切换可替换性是设计出来的一三种粒度与推进次序统一抽象抹平的是调用形状抹不平的是能力、语义与经济性。“改一行配置就能换模型”这句话在能力矩阵不齐、选项不可移植、提示词有模型依赖、计费口径不同、失败语义不同这五个地方不成立。可替换性的正确定义不是“任何模型都能无缝换上”而是三条换模型的改动集中在装配层的一个文件里换完之后有一套自动化的对照评测能给出效果差值切换可以按比例灰度并能在几分钟内切回去。满足这三条就够了追求“零改动”既不现实也不必要。切换有三种粒度代价与灵活度依次上升。进程级是配置文件里换模型名与凭据滚动发布适用于主力版本升级、供应商整体迁移回滚是回滚配置再发一次分钟级。请求级是在调用点通过选项覆盖模型名适用于同一家内按输入特征选模型跨家切换不要用这一档因为选型逻辑会散落到业务代码。任务级是为每个候选模型各装配一个客户端实例由路由组件按任务类型、租户、灰度分组、当前健康度与成本预算来选回滚是改路由配置秒级生效是三者里唯一需要专门设计的。多数团队一上来就想做任务级动态路由实际上进程级已经能覆盖八成需求。推荐的推进次序是三步。第一步先做到按任务建客户端实例业务代码里不写模型名——这一步不涉及多模型却是后面两步的前提。第二步把模型名、凭据、供应商特有选项收敛到装配层的一个文件。第三步真正需要跨供应商灰度或故障转移时才引入路由层。反过来做的团队通常会在第三步上花掉两个月然后发现第一步没做路由层选出来的实例仍然共用同一份提示词与选项。为可移植性付的钱未必换得回来。某团队为了“保持可移植”坚持只用通用选项、只写一份提示词、不使用任何一家的原生结构化输出。结果是在主力模型上本可以省掉的重试全都留着常年多付三成成本而真正需要换模型那天仍然要重调提示词、重跑评测。三种情况下应该主动放弃可移植某项能力带来的收益远大于切换风险业务已经与某项能力深度绑定团队规模不足以维护多套提示词与多套评测。判断标准是这笔可移植性的钱多久能兑现一次如果答案是三年内可能一次也不会那就不该现在付。二路由层的四个输入与三条出路需要路由层时把“选哪个模型”变成一次可解释、可回放的决策而不是一段藏在工厂方法里的 if-else。四个输入分别是任务声明这次调用属于哪个落点、需要哪些能力、可接受的延迟上限、候选清单每个候选模型的能力矩阵、单价、限流配额、近五分钟的健康度与分位耗时、策略配置灰度分组与比例、租户级偏好与合规约束、预算剩余情况、运行时信号当前熔断状态、最近的错误率与限流次数、本次输入的长度估算、是否是重试。决策过程是五步串行筛选能力准入、合规过滤、健康度过滤、成本排序、灰度抽样。五步的顺序不能换——先筛掉不能用的再在能用的里面挑便宜的最后才让灰度比例起作用。把成本排序放到合规前面会出现“便宜但不合法仍被选中”的事故。三条出路是主选、降级链与拒绝。主选是筛选后成本最低的可用候选要把选中的模型名、决策原因、被淘汰候选及淘汰原因一并写进共享上下文。降级链是主选失败时按顺序尝试的备选要区分原因——限流可以换同家的小模型内容拦截换了也没用、应当直接失败。拒绝是无可用候选时的出路不要静默兜底应当返回明确的降级结果让上层决定是排队重试还是转人工。静默兜底会让效果劣化无声无息。路由必须留痕的字段有六个请求标识与工单号任务类型与提示模板版本路由选中的模型与被淘汰的候选及原因是否处于灰度分组、属于哪一组实际返回的模型版本本次是否为降级重试以及前一次失败的分类。缺任何一项事后都会遇到“说不清那天到底走了哪条路”的情况。工单号是高基数只能进日志与链路追踪绝不能作为指标标签低基数的维度任务名、模板版本、模型名、是否降级进指标两者通过请求标识关联。路由做成顾问还是做成组件取舍在于需不需要看到渲染后的提示。做成独立组件、在装配层选出客户端实例结构简单但决策时看不到最终提示、无法按实际长度选模型做成一个序号极小的顾问能看到完整提示、能按真实长度估算但要在顾问内部切换下游模型实现。折中办法是组件先按任务与租户选出候选集合顾问再按实际长度在集合内做最后一次挑选。三离线、影子、灰度的对照次序换模型之前有三种对照方式它们不是备选项而是次序跳过前两步直接灰度等于拿线上工单做实验。离线评测成本最低、覆盖最窄拿固定评测集在候选模型上跑一遍能回答“新模型在我们见过的问题上是不是更好”回答不了真实长尾。关键是评测集要定期从线上采样补充尤其要补进人工纠正过的样本。影子调用成本中等、无用户影响线上走主模型异步复制一份给候选能回答真实流量分布下的效果、延迟与成本不能用于带副作用的链路——不能退两次款。灰度放量成本最高、结论最真按租户或类目稳定分组能回答业务指标有没有变好。分组要稳定观察窗口要覆盖一个完整的业务周期必须准备一键切回。对照的前提两边用的是各自调优过的提示词不是同一份。拿为甲模型写的提示词去测乙模型结论几乎总是错的而且错得很有说服力。影子调用与评测都要单列预算科目。涉及退款、短信、改期的落点不能影子双写只走离线评测加灰度并且灰度期间的自动执行默认降一档。四切回去的成本决定切不切得下去切换方案如果只写“怎么切过去”没有写“怎么在十分钟内切回来”这个方案还不能上线。切回是改路由配置不是发版不是等流水线不是等变更窗口。切回后要能识别出灰度期间产生的数据以便单独分析——这些数据不能直接进入下一轮评测集的“正确样本”因为它们来自一条尚未被承认的路径。切回还要处理“半成品”。草稿落点切回时坐席可能正看着一段尚未完成的流式输出客户端要把“路径已切换”提示给坐席而不是把后半段用新模型续上——口吻跳跃比中断更糟。处置落点切回时已经发出的工具调用按幂等键收敛未发出的不再发。分类落点切回最简单因为结果尚未被下游当成事实使用的窗口最短但仍要把切回前后的类目差记进纠正队列。七、把四件事装成一条控制回路一装配次序限流、降级、容灾、模型切换单独看都对放在一起就会在接缝上长出正反馈。包装顺序决定的是语义不是风格。推荐的由外向内次序是关能力开关、四级降级、路由与模型切换、错误分类器、带预算的重试、按供应商加模型的熔断、三处限流闸门、超时与截止时间、供应商网关。每一层只能看见比它更内层的结果看不见更外层发生了什么——所以语义必须向外传时间与配额必须向内传。两条不变量可以从这张次序里直接读出来。第一任何一层都不应该消费掉它下层的语义。被限流拒绝、被熔断拒绝、被上游取消、被内容拦截这四件事必须以可区分的形式一路向外传递否则外层就会把它们当成“下游故障”处理。第二时间信息必须一路向内传递。外层知道还剩多少毫秒内层知道已经花了多少毫秒两者只有拼在一起才是完整的预算视图。默认实现里这两半从不相遇这正是超时倒挂的根源上层已经给坐席返回了错误下层还在为一个没有人接收的结果生成词元、消耗 TPM。熔断与重试的内外之争在模型调用这条链路上有一个明确答案熔断在重试之内、限流之外。重试只对分类器标为“可重试”的动作生效熔断看到的应当是净化后的失败不含四二九、不含内容拦截、不含被取消的调用。把熔断放在重试之外它会把同一次逻辑请求的多次物理失败当成多次独立失败窗口里的失败率被放大误断提前。把四二九算进熔断额度高峰期会把健康模型切断。正反馈环的形状值得单独看一眼。下游变慢或四二九上游超时增多各层重试同时启动物理请求变成逻辑请求的乘积配额更快耗尽镜像闸门来不及收对方持续四二九备用账号也被打穿熔断把四二九算进失败率健康模型被切断半开窗口集中放量方波反复打回兜底返回空成功看板全绿业务指标掉回升无依据。拆环的四个动作必须同时在限流拒绝不进入重试也不进入熔断失败率重试次数由剩余截止时间反推降级是换路径不是换空对象关能力开关可一键拉下且工单系统可独立运行。二时间与配额预算切分时间预算自上而下切。入口承诺先扣本服务处理与检索剩余才给模型。重试次数等于剩余时间除以单次超时取整再减一减掉的那一次留给降级或换模型。换模型重试必须在剩余预算内否则直接降级。上层放弃后下层必须能被取消取消要传到 HTTP 客户端不能只设一个已经不会被看到的超时。令牌预算自外而内切。月预算切到日日切到租户租户切到落点。进入时按提示长度估算超水位则拦返回时按实际用量回写。八成告警、十成换便宜模型、十二成停止。影子与评测单列科目。两本预算互相约束。时间不够时即使额度充足也不该换一个更慢的大模型去“提高质量”——用户已经等不及了。额度不够时即使时间充足也不该把超时调长去硬等——那是在用体验换一张已经透支的账单。分类落点的时间紧、令牌少适合小模型草稿落点的时间宽、令牌多适合在额度水位健康时走主模型。把两本预算写进路由层的运行时信号路由才能在“此刻”做出与“平时配置”不同的选择。这正是静态配置做不到、动态路由才值得做的原因。截止时间要用绝对时刻透传不要用“还剩多少毫秒”的相对值在每一层重新计算。相对值在排队与锁等待里会漂绝对时刻在进入每一层时减去当前时间才是这一层真正还能花的预算。透传的字段要进链路追踪排障时才能回答“到底是哪一层把预算花光的”。三反馈路径与正反馈环回路要闭环必须规定每一类信号回到哪一层。四二九回到镜像闸门与租户账本不回到重试。首字超时回到路由的健康度过滤可以换同家小模型不把超时调长。模型版本不一致回到告警与灰度冻结不回到自动切版本。人工纠正率回到降级档位的回升判据不回到技术成功率。旁路开关的最近演练时间回到发布门禁超过三十天视为开关不存在。这些回边如果画成一张图会发现它们都不经过“再发一次请求”这条边。这是刻意的。故障期间最贵的动作是增加系统总工作量而重试是四个机制里唯一会增加工作量的。回路的目标是把乘法改成收敛收敛的第一刀就是让不该重试的信号永远走不到重试层。八、落地代码形状与分层分工一统一入口业务代码只表达意图。失败翻译、配额扣减、模型选择都不出现在调用点。工单分类的调用看起来应当是“给出工单号、租户号、截止时间拿回带原因码的分类结果”而不是“new 一个某供应商的客户端再 catch 异常”。调用点越瘦切换越快。统一入口内部的顺序是固定的若为重试则先让分类器翻译上一次失败账本按估算词元做水位拦截路由器按任务声明选出客户端实例执行按实际词元回写账本把模型名、是否降级、原因码、用量一并带回。业务层根据结果决定落库、转人工或关能力。业务层看不到供应商名也看不到状态码。装配多实例时不要直接从零构造构建器那样会丢掉自动装配配好的观测埋点、默认顾问与重试策略。用框架提供的配置器把自建构建器过一遍自动装配的那部分才会被保留。每个落点一个客户端实例提示词、顾问链、工具集合、超时都在装配层一次配齐。业务代码里出现零个模型名字符串是第二步完成的验收标准。二错误分类器、路由器、账本三个组件的边界要写死。分类器输入状态码、响应头、供应商、异常类型输出四类动作枚举加是否允许跨家禁止在业务代码里二次解释状态码内容拦截与欠费走直接失败。账本维度是租户乘落点乘自然日水位八成、十成、十二成估算拦截、实际回写影子与评测走独立科目。路由器五步筛选顺序不可换三条出路都要留痕切回是改配置不是发版处置落点默认不允许跨家热切。分类器要用密封接口或枚举表达结果不要返回布尔值或空对象。布尔值会把“可重试”和“换模型重试”压成同一个 true空对象会把直接失败和降级成功压成同一种形状。账本的金额字段必须用BigDecimal水位比较必须用compareTo禁止转成double再比。路由器的候选清单是接口类型的列表而不是某个供应商实现类的列表——否则“按任务建实例”会在类型上被击穿。线程池禁止用Executors工厂方法。路由里的影子调用、异步回写账本、跨家探测都要走显式配置的ThreadPoolExecutor队列必须有界拒绝策略要能把溢出记进观测而不是静默丢弃。业务代码里创建临时线程池是红线它既没有边界也没有关闭故障期间会把自己变成新的故障源。三网关、应用、供应商三侧分工网关负责入口突发、恶意扫描、粗粒度的请求速率不理解词元不理解模型名。应用层负责三本账里的令牌预算与并发许可、错误分类、路由、降级阶梯、截止时间透传。供应商侧不受你控制但你必须镜像它的配额、记录它的响应模型版本、把它的四二九翻译成一等公民的结果。三侧的拒绝码要能在日志里区分来源网关拒绝、应用账本拒绝、供应商拒绝混成一个 429 会让值班回到猜的状态。服务网格可以分担一部分超时与重试但不能分担失败翻译。网格看见的是 HTTP 状态码看不见“这是内容拦截还是配额耗尽”更看不见“这个四二九是模型级还是账号级”。把模型调用的重试交给网格等于把七类失败重新压回两类。网格适合做连接级的超时与熔断不适合做模型级的路由。职责写进同一份 YAML是限流配乱在基础设施层的对应物。九、观测、演练与发布门禁一必须能回答的十个问题值班要能在五分钟内回答十个问题。此刻主模型是否健康按供应商加模型看错误率与 P99。四二九是哪一本账打满RPM、TPM、租户日额度拆开。当前降到了第几级按落点看降级次数与降级后可用率。路由选了谁、淘汰了谁看决策原因与灰度分组。请求模型与响应模型是否一致抓静默升级。单位工单成本有没有跳按落点、按租户、按日。重试放大了多少倍逻辑请求对比物理往返。人工纠正率有没有涨这是业务成功率。备用供应商今天走过没有看影子命中与备选错误率。关能力开关能不能立刻拉下看旁路演练的最近一次时间。低基数进指标高基数进日志与追踪两者用请求标识关联。工单号、坐席号、完整提示快照不能打成指标标签时间序列会在几天内被撑爆。提示快照里可能仍含业务敏感信息存储要加密并按最小权限开放写失败必须降级放行不能因为审计写不进去而拒绝服务。手机号、身份证号、银行卡号禁止明文进日志脱敏后再落。框架默认给的埋点回答的是“调用发生了什么”业务归因需要的是“这次调用属于谁、为了什么”。要自己补的四个维度是业务对象标识、任务与模板版本、路由与档位、质量结果。缺了质量结果静默降级在技术看板上会永远是绿的。二故障注入矩阵注入要写期望现象更要写不可接受的现象——后者才是回路自我放大的指纹。主模型四二九期望镜像闸门收紧、改走备用或降精度不可接受的是重试把到达率打得更高。主模型首字超时期望换同家小模型、P99 回落不可接受的是把超时调长硬等。主模型版本下线期望路由切到已评测版本不可接受的是业务代码里改模型名发版。整家网关失败期望跨家容灾或降档不可接受的是同家内部空转。租户额度打满期望该租户降档、其它租户不受影响不可接受的是全站被一个租户拖死。内容安全拦截期望直接失败并告警不可接受的是换模型继续生成。备选同时失败期望关能力且工单系统仍可用不可接受的是接口成功、业务空转。半开窗口放量期望探测流量受并发闸门约束不可接受的是方波打回刚恢复的模型。注入要在预发用真实供应商账号做。每季度至少做一次整家失败演练。演练记录进看板最近一次时间、发现的不可接受现象、修复是否已进入门禁。没有记录的演练等于没有做过。三两条告警与一张看板一张值班看板要同时有技术面与业务面。供应商健康看错误率、P99、首字延迟、请求与响应模型一致性、四二九单独一条线。配额水位看集群 RPM 与 TPM、租户日额度分布、镜像闸门拒绝率、影子科目消耗。降级与路由看当前档位、降级次数与回升次数、路由淘汰原因、旁路开关状态。业务结果看人工纠正率、一次解决率、单位工单成本、转人工队列深度。只看错误率会错过静默降级只看业务指标会错过配额击穿。两条告警就够多了没人看。告警一任一落点的业务成功率与技术成功率之差超过阈值持续五分钟。这是静默降级与静默升级的指纹。告警二任一租户或任一供应商的令牌水位在十五分钟内穿过八成且到达率未降。这是配额击穿前的最后窗口。其余信号进看板不进电话。旁路开关的最近演练时间也要在看板上超过三十天没演练过的关能力路径应当被视为不存在。租户账本的三级水位是告警二的落地形态。到八成只告警不改路径给值班留出判断时间到十成只动该租户到十二成停止该租户的智能层。水位按租户隔离全站一个硬顶一定误伤。发布门禁有四条。评测集在四个档位上都跑过且降级档的可用率不低于约定下限。影子科目的预算没有被业务流量挤占。旁路演练在三十天内有记录。业务代码的 diff 里不含模型名字符串、不含对状态码的二次解释。四条任何一条不满足智能层的流量都不该放到百分之百。十、反模式清单与一页纸十二条反模式在联调阶段都看不出来它们的共同特征是把一个机制的输出当成了另一个机制本来的输入语义。把四二九当成五零二重试只限 QPS不限令牌与并发降级返回空成功四级阶梯平时不演练备用模型放在同一家跨家热切处置落点一份提示词通吃所有模型业务代码里写死模型名技术成功率当业务成功率影子流量混进业务账单熔断把限流拒绝算进失败率上层放弃后下层继续生成。修法只有一种把语义约定补回接缝。拒绝就是拒绝降级就是降级切换就是切换。不允许任何一层把这三件事翻译成“调用失败”再交给下一层自由发挥。反模式清单要进代码评审而不是进事后复盘。评审问题可以写成四句这次 diff 有没有新增对状态码的解释有没有新增模型名字符串降级路径有没有测试影子与评测有没有走独立科目一页纸是最低交付标准不满足其中任何一条都不该把智能层的流量放到百分之百。失败语义要七类可区分、四类动作是枚举、内容拦截禁止换模型、欠费禁止打下游。限流要三本账、三处闸门、四二九外传且不计入失败率、本地比对方更早收手。降级要四级阶梯按落点配置、下降易回升难、关能力真实可跑、两张成功率曲线拆开。容灾要故障面分四层、主备加影子为默认、跨家走能力矩阵、处置落点默认降档。切换要按任务建实例、路由五步不可换、离线到影子到灰度、切回是改配置。观测与门禁要十问五分钟内可答、注入矩阵每季演练、旁路开关可一键拉下、评测与影子单列预算。十一、结语从连通性到控制回路调通一次模型接口证明的是网络、密钥、协议这三件事成立。生产要证明的是另一件事当模型不可用、响应过慢、配额耗尽、提供商整段故障这四类事件同时出现时系统仍然知道自己该限流、该降级、该容灾还是该切换并且这些动作消耗的是同一本账、留下的是同一组可回放的证据。限流保护配额。它不是一个 QPS 数字而是并发、速率、令牌三本账落在网关、租户、镜像三处拒绝语义能一路传到重试与熔断之外。降级保护业务路径。它不是一句友好错误而是四级事先写好、事先演练过的梯子下降容易、回升困难关能力是真实开关。容灾保护供应商。它不是同家里换一个模型名而是按区域、账号、版本、整家四层选择处置默认主备加影子跨家走能力矩阵处置落点默认降档。模型切换是执行动作。它不是“改一行配置”而是按任务建实例、用路由五步筛选、用离线到影子到灰度的次序对照并且切回去比切过去更重要。四件事只有共享同一份时间与令牌预算、同一套失败语义、同一个由外向内的装配次序才构成能自动收敛的控制系统。缺任何一项它们就退化成四个互不知情的开关平时看不出差别而在故障的那几分钟里正是这个差别决定了系统是自我收敛还是自我放大。连通性是起点控制回路才是交付物。参考资料Resilience4j 官方文档限流、熔断与重试Sentinel 流量治理规则、隔离与熔断Spring AI 参考文档Chat Client 与模型抽象Spring AI 可观测性与观测约定OpenAI 平台速率限制与最佳实践OpenAI 平台生产最佳实践Azure OpenAI配额与限制Google Cloud Vertex AI配额与系统限制Anthropic速率限制说明AWS Well-Architected机器学习可靠性支柱Google SRE 手册处理过载Google SRE 手册应对级联失效Microsoft Azure 架构中心熔断模式Microsoft Azure 架构中心限流模式Microsoft Azure 架构中心隔舱模式LangChain回退与降级LangChain4j模型与故障恢复PortkeyAI 网关的故障转移与可观测Kong AI Gateway 文档OpenTelemetry 语义约定生成式 AICNCF 云原生可靠性熔断与超时NIST AI 风险管理框架OWASP 机器学习安全 Top 10Twelve-Factor App配置、进程与丢弃JDK HttpClient 官方指南Micrometer 观测文档OpenAI Cookbook生产环境的重试与幂等Google Cloud生成式 AI 的负责任部署Azure 架构中心生成式 AI 解决方案设计AWS Prescriptive Guidance生成式 AI 的韧性
目录一、四个故障站在同一条账本上一能调通掩盖了什么二它们不是四个独立问题1、共享同一份配额与时间预算2、处置动作会互相改写彼此的输入三贯穿场景智能工单的智能层四本文的判断、口径与不讨论的范围二、失败语义先翻译再处置一模型调用的失败至少要分成七类二四类业务动作1、可重试2、换模型重试3、降级4、直接失败三静默降级与版本漂移三、限流三种量纲、三处落点、一种拒绝语义一并发、速率、令牌预算为什么不能互相替代二网关、租户账本、供应商配额镜像三四二九与重试建议头的正确读法四本地闸门必须比对方更早动手四、降级换的是业务路径不是错误文案一四级阶梯二每一级必须对外可感知三回升比下降更危险四必须演练否则一定是坏的五、容灾提供商故障不是下游抖动一四层故障面二主备与多活三合规与数据驻留把候选集合先砍掉一半四容灾演练的最小矩阵六、模型切换可替换性是设计出来的一三种粒度与推进次序二路由层的四个输入与三条出路三离线、影子、灰度的对照次序四切回去的成本决定切不切得下去七、把四件事装成一条控制回路一装配次序二时间与配额预算切分三反馈路径与正反馈环八、落地代码形状与分层分工一统一入口二错误分类器、路由器、账本三网关、应用、供应商三侧分工九、观测、演练与发布门禁一必须能回答的十个问题二故障注入矩阵三两条告警与一张看板十、反模式清单与一页纸十一、结语从连通性到控制回路参考资料干货分享感谢您的阅读把大模型接进一个 Java 服务最快的路径是三行代码让这条链路在模型不可用、响应过慢、配额耗尽、提供商整段故障时仍然给出可解释、可回放、可降档的业务结果是另一件事。前者验证的是连通性后者交付的是控制回路。本次我们沿着一条完整的工程路径走一遍先把四类故障放到同一本账上切开再把失败翻译成四类业务动作然后分别讨论三种量纲的限流、四级阶梯的降级、四层故障面的容灾以及三种粒度的模型切换最后把四件事装回同一条由外向内的装配次序配上时间与令牌两本预算、统一入口的代码形状、故障注入矩阵与值班十问。限流保护配额降级保护业务路径容灾保护供应商切换是执行动作——四者只有共享同一份预算、同一套失败语义、同一个装配次序才构成能在故障那几分钟里自动收敛的控制系统。一、四个故障站在同一条账本上一能调通掩盖了什么联调环境里的大模型调用几乎总是成功的。密钥有效、额度充足、网络干净、每次都在两秒内返回完整内容。于是三行代码被原样保留进生产一个聊天客户端、一段提示、一次同步调用。上线当天之前没有人觉得这有什么问题。生产与联调的差别不在“会不会失败”而在“四类失败会不会同时出现并且共用同一份配额与同一段时延承诺”。模型不可用、响应过慢、配额耗尽、提供商整段故障在联调日志里各是一个偶发异常在生产里却是同一本账上的四笔透支。对其中一类做重试会把另外三类的余量一起吃掉。这四类故障还有一个共同的伪装它们在适配层常常被映射成同一个异常。框架为了抹平各家接口的形状差异会把状态码、响应头、错误体收成“调用失败”。业务代码于是写一个catch里面要么重试要么返回“系统繁忙”。这个catch在联调阶段永远进不去在生产的第一次抖动里会把四类完全不同的处置揉成同一种动作。把“能调通”和“能扛故障”并排放中间隔着五步而不是五个可以分别排期的独立需求。没有失败翻译限流拒绝会被当成模型故障去换供应商没有三处限流降级会在额度打空之后才发生那时已经没有余量可降没有四级降级容灾切过去之后只能给出一个更贵或更差的答案没有可回放的路由切过去之后说不清走了哪条路切回来也没有对照数据。五步必须一起推进这决定了本文的章节次序。二它们不是四个独立问题1、共享同一份配额与时间预算一次智能工单请求在入口处承诺了两件事分类要在八百毫秒内给出可落库的类目知识问答要在两秒内吐出第一个字。这两段时间不是“模型调用的超时”而是产品对坐席的承诺。同一笔请求还要记入三本配额账供应商按每分钟请求数计的 RPM、按每分钟词元数计的 TPM、按租户日额度计的金额。四类故障消耗的是同一组数字。模型不可用会触发重试重试消耗 RPM 与线程响应过慢会占住并发坑流式输出按字计费TPM 在用户已经离开之后仍在增长配额耗尽会让备用账号被一并打穿如果重试把四二九当成了普通失败提供商整段故障会把流量压到另一家另一家的额度与时延承诺立刻被改写。四类故障的处置如果各写各的结果一定是某一类的“自救”变成其他三类的“加害”。2、处置动作会互相改写彼此的输入限流的拒绝如果被重试当成“可以再试一次”到达率不降反升熔断如果把四二九算进失败率会在额度高峰期把健康依赖切断降级如果返回一个空对象并记为成功观测系统会认为回路已经收敛模型切换如果不管能力矩阵处置落点可能把“建议退款”执行成“真的退款”。这些反馈路径在稳态下都不显现只在故障期间才全部激活——而故障期间恰恰是最不适合发现它们的时刻。所以问题的正确形式不是“限流怎么配、降级怎么写、容灾怎么切、模型怎么换”四道填空而是“四个机制在同一条链路上按什么次序装配、共享哪一份预算、彼此的输入输出怎么定义”。后文第七章会把这条回路画完整在那之前必须先有一套失败语义否则回路的每一环都在用错信号。三贯穿场景智能工单的智能层抽象讨论需要一个落点。本文沿用一套面向客服坐席与运营同学的企业智能工单系统作为贯穿场景。它同时具备时延承诺、副作用、成本归账与供应商可替换是少数能把四类故障一次性长出来的题目。智能层有四个落点工程约束完全不同。工单分类的时延预算只有八百毫秒失败代价是派错组、首响时钟冻结可降级路径是规则引擎加人工。知识问答的时延预算是两秒首字失败代价是对客户做了错误承诺可降级路径是只检索不生成。回复草稿的时延预算是四秒完整输出失败代价是坐席空等、采纳率下降可降级路径是模板拼装。处置编排带着真实退款与短信失败代价不可回滚可降级路径只能是“只出建议不自动执行”——这个落点几乎不允许跨供应商热切。四个落点共用同一组供应商账号、同一份月度预算、同一套观测。后文所有例子都落在这四个落点上。分类用来讨论“必须在截止时间前给出可落库结果”问答用来讨论“首字延迟与生成速率是两种慢”草稿用来讨论“成本与效果的对照”处置用来讨论“带副作用的路径为什么不能靠换模型蒙过去”。四本文的判断、口径与不讨论的范围文中出现的超时基线、额度水位、放大倍数、成本比例都是量级示意用来说明设计意图与相对关系不是任何一家供应商的真实参数。落地时应以自身的压测结论与所调用服务的文档为准。请求体字段名在不同供应商之间存在差异文中展示的是结构与语义不是具体命名。三类东西本文不展开。第一类是提示词工程与模型效果调优——它们决定“说什么”本文只讨论“失败时走哪条路、这条路怎么被证明还活着”。第二类是检索、切分、重排这些智能层内部的质量问题——它们会改变令牌消耗与时延但处置原则与本文相同。第三类是把十次调用编排成一次 Agent 循环的工程——一次调用的控制回路和把十次调用编排起来的控制回路是两个话题前者是后者的地基。代码示例基于 Java 17 及以上JDK 21 的虚拟线程会改变并发闸门的一个结论文中会单独标明。异常处理遵循“捕获必须处理、禁止用异常控制流程、资源必须关闭”金额与额度用BigDecimal计量线程池禁止用工厂方法创建必须显式配置有界队列。二、失败语义先翻译再处置一模型调用的失败至少要分成七类“调用失败”不是一种失败。限流拒绝、瞬时抖动、模型过载、模型下线、内容拦截、上下文超长、余额与鉴权失败这七类的处置动作完全不同一个该减速一个该有限次重试一个该换同家小模型一个该换已评测过的版本一个重试一万次也没用一个该裁剪后重发一个该立刻告警并整档降级。把它们送进同一个catch可用性一定会出问题账单也一定会出问题。分类器必须放在适配层之上、业务层之下。框架会把各家错误码映射成统一异常但映射后的粒度往往只到“可重试 / 不可重试”。七类里至少有四类会被这层粒度抹平。抹平之后限流拒绝会去打备用模型内容拦截会去换一家再生成一遍欠费会把备用账号的额度也吃光。正确形状是一个错误分类器输入是状态码、响应头、异常类型与供应商名输出是下一节的四类业务动作中的一个外加是否允许跨家。业务代码里不允许再出现对状态码的二次解释。分类器本身要可测用真实线上见过的响应头做样本不要靠想象编造——想象出来的四二九往往比真实的更规整缺少重置时刻、限流维度、剩余配额这些决定动作的字段。还有一类失败不在这七类的状态码里却必须被看见供应商静默升级。请求里指定的是某个版本响应里带回的是另一个。它不报错不限流不超时只是效果变了。如果观测不记录“请求模型名”与“响应模型名”两个字段团队会把质量下跌归到自己上周的某次发布。这一类失败的处置不是重试而是告警并冻结灰度直到评测集给出对照。二四类业务动作分类器的输出必须是枚举不能是一段注释。四个动作对应四本不同的账选错的代价比失败本身更大因为它会改写配额、时延与观测口径。1、可重试适用瞬时抖动、可恢复的网关错误、连接重置。预算计入本层重试预算不另开一份配额账——每一次物理往返都要记入 RPM 与 TPM但它们属于同一次逻辑请求。次数上限由剩余截止时间除以单次超时反推再减一次留给降级。写成“固定重试三次”是错的分类落点八百毫秒的预算里三次各三百毫秒的重试在数学上不可能发生草稿落点四秒的预算里三次可能刚好把用户等走。流式调用的重试还有一条额外约束已经向坐席吐出内容之后原则上禁止重来。半截答案作废重发坐席看到的是一段突然换口吻的文字比失败更难解释。首字之前可以重试首字之后只能降级或失败。2、换模型重试适用模型过载、模型下线、同家模型级限流。预算走备用模型的独立配额账本不能从主模型的水位里“借”。降级链长度通常不超过两跳主模型到同家小模型再不行就离开“换模型”这个动作进入降级。内容拦截、租户合规拒绝、鉴权失败不允许进入这一支——换哪一家都应当失败。换模型时必须换提示词版本。拿为甲模型写的提示词去打乙模型测出来的不是乙模型的能力是乙模型对甲模型提示词的适应性。这一条在对照评测里会再写一次因为它是线上最常见的“切过去效果变差、于是再切回来”的原因。3、降级适用配额耗尽、整家故障、预算告急、准确率掉档。降级不再消耗高档模型的令牌换的是事先写好的业务路径。第四章会把路径写成四级阶梯。这里只需记住一条降级的输出必须带原因码且不能被记成技术成功。4、直接失败适用内容拦截、鉴权失败、契约不满足、以及“降级链也走不通且关能力尚未开启”的情况。预算零额外消耗。不允许把直接失败兜底成空对象、空列表或“暂无建议”——那是静默降级第十章会把它列为最危险的反模式。直接失败要按失败类别单独计数禁止并入一个笼统的错误率。一条硬规则值得单独写内容拦截换了模型也没用应当直接失败。对称的一条余额不足与密钥失效是调用方自己的问题熔断被调方毫无意义应当立刻告警并整档降级。把这两条写成分类器里的单元测试比写进设计文档更不容易在发版时丢掉。三静默降级与版本漂移适配层还有一种“成功”需要被翻译成失败返回了可解析的对象但对象来自一条不该走的路径。框架在解析失败后返回空对象、降级链走到了规则引擎却仍记为模型成功、供应商把模型版本悄悄换掉——三种静默的共同点是技术成功率百分之百业务指标在掉。对策是三个必留字段请求模型名与响应模型名两者不一致就是静默升级是否降级、降到哪一级、降级原因码缺一不可回放业务结果是否被人工改写这是质量信号而不是技术信号。成功率必须拆成两张曲线一张回答链路通不通一张回答事办成没有。只看前一张静默永远是绿的。三、限流三种量纲、三处落点、一种拒绝语义一并发、速率、令牌预算为什么不能互相替代大模型接口同时按三本账计费。并发保护的是调用方的线程与连接量纲是在途请求数。请求速率保护的是供应商的 RPM 配额量纲是每分钟请求数。令牌预算保护的是 TPM 与月度金额量纲是输入加输出的词元数。只限其中一本等于另外两本敞开。“我们已经做了 QPS 限流”仍然会在月底爆账单原因很具体。请求速率限制的是次数不是每次的体积。一次带八万词元上下文的问答和一次二十个词的分类在 RPM 账上是相同的一笔。并发限制的是占坑不是费用。流式输出可以占着一个并发坑慢慢吐令牌按输出字数持续计费用户已经离开账单还在涨。令牌预算卡得住烧钱卡不住线程占满一堆短请求可以把线程池打满而 TPM 几乎不动。三本账必须同时存在并且拒绝语义要能区分是哪一本打满。否则上游会用错动作该换短提示的去换了供应商该排队的去降了档该给某个租户停智能层的去重启了应用。拒绝码要写成枚举至少覆盖CONCURRENCY_EXHAUSTED、RPM_EXHAUSTED、TOKEN_BUDGET_EXHAUSTED三种外加供应商侧的PROVIDER_429。并发闸门在 JDK 21 虚拟线程下有一个容易被忽略的变化虚拟线程让“线程用尽”不再是第一约束连接池、文件句柄、供应商并发配额会先到顶。这时并发闸门的意义从“保护线程池”变成“保护下游许可”。许可数仍要显式配置不能因为换成虚拟线程就把闸门拆掉。二网关、租户账本、供应商配额镜像三本账还要落在三处每一处保护的对象不同。入口网关看见的是集群总到达率与恶意流量口径是请求数每秒按路由与租户切分它看不见这次调用会消耗多少词元所以不该在这一层做令牌估算。租户与任务账本看见的是单租户日额度、单任务月预算口径是估算词元加实际词元对账它看不见供应商此刻还剩多少配额。供应商配额镜像看见的是对方的 RPM、TPM 与并发口径按对方文档镜像一份本地闸门它看不见对方是否悄悄下调了阈值。本地闸门必须比对方更早动手。供应商的四二九是已经发生的伤害这次请求已经占用了对方的排队、已经计入你的错误率、已经可能触发上游重试。镜像闸门的目标不是精确等于对方阈值而是在对方拒绝之前把到达率压到安全区。阈值取对方公开值的七到八成留出突发与统计误差。对方没有公开值时用阶梯压测找到拐点再打七折。租户账本必须以实际用量为准、以估算用量为拦截。估算与实际必然有偏差。水位要分三级到八成告警值班介入检查是否异常租户或提示词膨胀到十成对该租户降精度改走小模型其它租户不受影响到十二成对该租户停止智能层请求进人工队列。到顶才拒绝等于把决策推到已经没有余量的时刻。全站一个硬顶的结果一定是大租户把小租户挤下去而故障看起来像“模型挂了”。网关这一层不要试图理解词元。它的任务是挡住明显的突发与扫描把精细账留给应用层。两层职责写进同一份配置是限流配乱的起点。网关拒绝要返回明确的配额类错误码应用层不要把它再翻译成“模型调用失败”。三四二九与重试建议头的正确读法四二九不是下游故障它是准入控制。读懂重试建议头才能决定是等待、换账本还是换供应商。信号至少有五样状态码或等价的配额耗尽语义等待建议秒数剩余配额、重置时刻、限流维度是账号级、模型级还是区域级是否伴随余额不足或密钥失效。后两样决定动作完全分叉——账号级耗尽要换账本模型级耗尽可换同家小模型整家耗尽走容灾余额不足则禁止再打任何一家。错误动作的清单比正确动作更有用。当成五零二做抖动重试会把到达率打得更高忽略建议头按固定退避再打会在对方明确要求等待的窗口里继续撞墙熔断该依赖会误伤其它健康模型把拒绝计入下游失败率会让值班去重启应用、回滚版本静默换一个更贵的模型硬过会在额度打满时把账单再推高一截。拒绝语义一旦在适配层被抹平外层只能放大。重试层看到的如果只是“调用失败”它会再发一次——而四二九的正确响应是减速不是加速。熔断层如果把四二九算进失败率会在额度高峰期把健康依赖切断高峰过后又在半开窗口里集中打回去。观测如果把四二九并入错误率真正该看的配额水位就永远排不到值班的第一眼。因此适配层必须把“被限流拒绝”做成一种一等公民的结果类型而不是一种异常。异常用来表达“不该发生的事”四二九是配额系统的正常输出。四本地闸门必须比对方更早动手把前面三节收成一条可执行的纪律本地永远先于对方拒绝。实现上是一面镜像闸门一面租户账本一面入口网关三面的拒绝都带类型都不抛成普通异常。镜像闸门按供应商加模型加区域三个维度建桶桶的补充速率取对方文档值的八成租户账本按租户加落点加自然日三个维度记账金额用BigDecimal禁止double网关按路由加租户做请求速率限制不碰词元。下面是租户账本拦截的一份参考实现。它的核心不是“怎么计数”而是“三级水位对应三种动作且对其他租户无副作用”。public final class TenantTokenLedger { public static final BigDecimal WARN_RATIO new BigDecimal(0.80); public static final BigDecimal DEGRADE_RATIO new BigDecimal(1.00); public static final BigDecimal STOP_RATIO new BigDecimal(1.20); private final TokenUsageStore store; private final AlarmService alarmService; public TenantTokenLedger(TokenUsageStore store, AlarmService alarmService) { this.store store; this.alarmService alarmService; } public LedgerDecision tryAcquire(TenantId tenantId, Endpoint endpoint, int estimatedTokens) { DailyQuota quota store.quotaOf(tenantId, endpoint); BigDecimal used store.usedTokens(tenantId, endpoint); BigDecimal projected used.add(BigDecimal.valueOf(estimatedTokens)); BigDecimal ratio projected.divide(quota.dailyLimit(), 4, RoundingMode.HALF_UP); if (ratio.compareTo(STOP_RATIO) 0) { return LedgerDecision.stop(ratio); } if (ratio.compareTo(DEGRADE_RATIO) 0) { return LedgerDecision.degradePrecision(ratio); } if (ratio.compareTo(WARN_RATIO) 0) { alarmService.warnQuota(tenantId, endpoint, ratio); return LedgerDecision.allow(ratio); } return LedgerDecision.allow(ratio); } public void commit(TenantId tenantId, Endpoint endpoint, int actualTokens) { store.addActual(tenantId, endpoint, actualTokens); } }估算用于拦截实际用于对账。两者长期偏离超过一成说明分词器口径或缓存折扣没有计入要修的是估算器不是把水位再放宽一档。影子调用与评测集回归必须走独立科目禁止混进业务账——混在一起会让“业务成本上涨”这个信号失去意义。四、降级换的是业务路径不是错误文案一四级阶梯降级被写得最多、被做得最假的是把异常翻译成一句“系统繁忙请稍后重试”。那不是降级那是把失败抛给坐席。真正的降级是换一条事先写好、事先演练过的业务路径。路径要做成四级阶梯按落点分别配置禁止四个落点共用同一张梯子。第一级是降精度把改写、重排、评判换成小模型召回略降坐席几乎无感成本下降明显时延通常变好。触发条件是 P99 变差或 TPM 到八成。分类落点降精度之后结构化输出的校验不能放松——字段仍要能落库只是允许少做一轮校验重试。第二级是降覆盖只对高优先级或特定类目启用智能层覆盖率下降坐席感知明显核心路径仍在边缘路径回人工。触发条件是配额到十成或单家过载。降覆盖不是随机抽掉一半请求而是按业务优先级切催办、投诉、涉及金额的工单留在智能层咨询类回人工。随机抽会让同一客户的连续工单体验分裂。第三级是降档位条件自动退回草稿待审自动化率归零人力成本回升副作用工具从模型手里收回。触发条件是准确率掉档或整家故障。这一级是处置落点的默认容灾动作——不是换一家继续自动退款而是把退款权收回。第四级是关能力智能层整体旁路回到纯人工工单系统。它必须真实可用且定期演练。这是熔断开关不是理论上的退路。触发条件是跨家容灾也失败或预算击穿。超过三十天没演练过的关能力路径应当被视为不存在。二每一级必须对外可感知阶梯有三条纪律。第一条每一级都必须是事先写好的业务路径。降精度之后分类仍要能落库降覆盖之后未覆盖的工单要能进人工队列关能力之后工单系统本身必须可独立运行。如果关能力之后工单列表都打不开说明智能层被写进了主路径的构造函数里旁路从来就不是旁路。第二条下降容易、回升困难。一次误操作即降档升档需要连续达标窗口。故障期间的自动回升会造成半开共振——刚恢复的模型被放量打回去再降再升形成方波。回升窗口建议覆盖一个完整的业务高峰而不是连续五分钟错误率正常。高峰与低谷的错误率不可比。第三条跳级必须是显式决策。从降精度直接关能力等于放弃了中间两级的缓冲。只有在“备用供应商同时不可用”这种已被演练过的场景下才允许跳级并且要在审计里留下跳级原因。值班同学按一个按钮跳到第四级是允许的代码里写if (errorRate 0.1) disableAll()是不允许的。四级阶梯要按落点分别配置。分类可以降到规则引擎问答可以降到只检索不生成草稿可以降到模板处置只能降到“只出建议”。处置落点没有“换个小模型继续自动退款”这一档。这一句在容灾章还会出现因为它同时是降级问题与切换问题。三回升比下降更危险下降是保护回升是冒险。刚恢复的供应商会在半开窗口里收到一波探测流量如果回升逻辑按错误率自动拉满探测会变成脉冲脉冲会把刚恢复的实例再次打进过载。正确的回升是受并发闸门约束的探测半开只许 N 个在途成功后再按比例放比例的步长写进配置禁止一次回到百分之百。回升还要看业务成功率不只看技术成功率。模型恢复了、四二九消失了但如果人工纠正率仍在高位说明恢复的是连通性不是质量。质量未恢复时回升等于把用户重新置于一个已知更差的路径上还关掉了已经在工作的降级路径。四必须演练否则一定是坏的兜底路径的共同问题是平时不走、需要时才走而不走的代码会腐化。三条可执行的做法按比例影子调用把千分之几的流量强制走低一档能力用同一套校验比对结果把降级次数与降级后的可用率做成两条独立曲线任何一条异常都告警每次模型或供应商变更后跑一遍覆盖四个档位的回归集。演练成本很低而没有演练过的降级路径几乎必然在需要时失效。静默降级是最危险的一种成功。接口成功率百分之百业务指标在掉——技术面全绿业务面全红。三种静默前面已经列过。这里补一条观测纪律降级必须打标并一路透传到坐席界面与审计表。坐席有权知道“这条建议来自规则引擎而不是模型”审计有权知道“那天晚上分类走的是哪一档”。把降级藏起来事后无法解释事前无法回升。五、容灾提供商故障不是下游抖动一四层故障面提供商故障的爆炸半径按层扩大处置也必须按层选择。区域不可达爆炸半径是该区域所有模型处置是切同家其它区域前提是数据驻留政策允许跨区。账号级失效爆炸半径是该密钥下全部额度处置是切备用账号或备用账本前提是密钥轮换与权限隔离已经做成。模型版本下线爆炸半径是依赖该版本的落点处置是切已评测过的新版本或同能力模型前提是评测集与提示词按模型分版本。整家下线爆炸半径是该供应商全部能力处置是跨供应商容灾走能力矩阵筛选前提是至少一家能力对齐的备选。同家换模型不是容灾跨家才是。同一家的区域故障、账号故障、版本下线常常会在短时间内变成整家不可用——因为它们共享网关、证书、计费与控制面。把备用模型放在同一家里等于把鸡蛋放在同一只篮子的不同格子里。格子着火的时候篮子也着火。跨家容灾的代价是能力矩阵不齐结构化输出、工具调用、上下文窗口、安全过滤级别都不一样。所以容灾切换不是改一个模型名而是走一遍路由层的五步筛选。处置编排这种带副作用的落点跨家热切要格外谨慎两家对工具参数的理解不同可能把“建议退款”执行成“真的退款”。这类落点的容灾默认是降档而不是换一家继续自动执行。密钥与账号的隔离经常被当成运维细节实际上它是爆炸半径的开关。主备账号共用一个密钥账号级失效会变成整家失效。主备账号的权限集合如果完全相同主账号泄露时备账号没有减震。正确做法是备账号只开通容灾所需的模型与区域额度单独封顶轮换周期与主账号错开。凭据禁止写进配置文件与镜像必须走凭据服务轮换时正在飞行的请求用旧凭据完成新请求用新凭据中间状态要能同时验两种。二主备与多活主备与多活不是可用性口味问题是能力与成本的结构选择。主备日常百分之百走主供应商备选只在故障时拉起成本低平时只维护一套提示词与一套评测风险是备选长期不走故障当天一定是生的。多活日常按比例或按租户拆到两家及以上切换时延接近于零代价是每家一套提示、一套评测、一份对照能力不齐会导致同一落点效果分裂。推荐默认是“主备加影子”而不是一上来多活。多数团队高估了整家下线的频率低估了维护两套提示词的成本。每一次业务变更都要在两边同步并各跑一次评测人手不够时两边都会变浅。影子调用让备选每天都见到真实流量分布却不对外生效。它把主备的“生”变成“熟”同时把多活的账单从双倍改成“主份加抽样”。只有在单家配额长期不够、或合规强制数据驻留到不同提供商时才值得把多活做成日常结构。即便如此也按任务拆不按请求拆。按请求拆会让同一张工单的分类走甲、草稿走乙坐席看到的是口吻分裂的两段文字排障时还要拼两家的日志。按任务拆的意思是分类落点可以长期走甲草稿落点可以长期走乙一张工单内部保持一致。多活还有一笔常常被漏掉的账两家的安全过滤级别不同。甲拦下的提示注入乙可能放行甲误拦的正常工单乙可能生成。过滤级别必须进入能力矩阵的一票否决项不能等灰度时用线上工单去发现。三合规与数据驻留把候选集合先砍掉一半跨区域、跨供应商的第一道门不是效果是合规。租户合同里写了数据不得出境候选集合里所有境外端点都要在路由的第二步被滤掉而不是在出了问题之后靠人工切回。模型厂商的训练用途条款、日志留存周期、子处理器清单同样是一票否决。能力矩阵把这些项放在效果与成本前面不是因为它们更“正确”而是因为它们一旦被打破后面的对照评测没有意义——评测集再漂亮合同已经违约。矩阵的用法不是“找一个全能模型”而是“为每个落点划定候选集合”。分类落点的候选可以很宽处置落点的候选通常只有一到两家。为了一个不存在的第三选项去做抽象是浪费。安全过滤与数据驻留是一票否决项。矩阵要按季度复核供应商会静默升级模型版本、调整过滤策略、变更区域可用性——准入条件是活的不是一纸清单。四容灾演练的最小矩阵不演练的容灾等于没有。最小矩阵覆盖四层故障面各一次外加一次“备选同时失败”。主区域流量打到备区看时延与错误率是否回到承诺内主动吊销主密钥看切换时延是否在分钟级以内把主模型版本在预发标记为下线看路由是否切到已评测版本而不是让业务代码改模型名发版把主供应商整段注入失败看是跨家还是降档最后把备选也打掉看关能力之后工单系统是否可独立运行。不可接受的现象要写进演练手册同家内部空转、接口成功但业务空转、处置落点跨家自动执行。演练要在预发用真实供应商账号做不要只用桩。桩只能验证分类器的分支验证不了对方四二九的响应头、静默升级的版本号、以及跨家切换后的真实效果差。每季度至少做一次整家失败演练并把“关能力后工单系统可独立运行”写成发布门禁。六、模型切换可替换性是设计出来的一三种粒度与推进次序统一抽象抹平的是调用形状抹不平的是能力、语义与经济性。“改一行配置就能换模型”这句话在能力矩阵不齐、选项不可移植、提示词有模型依赖、计费口径不同、失败语义不同这五个地方不成立。可替换性的正确定义不是“任何模型都能无缝换上”而是三条换模型的改动集中在装配层的一个文件里换完之后有一套自动化的对照评测能给出效果差值切换可以按比例灰度并能在几分钟内切回去。满足这三条就够了追求“零改动”既不现实也不必要。切换有三种粒度代价与灵活度依次上升。进程级是配置文件里换模型名与凭据滚动发布适用于主力版本升级、供应商整体迁移回滚是回滚配置再发一次分钟级。请求级是在调用点通过选项覆盖模型名适用于同一家内按输入特征选模型跨家切换不要用这一档因为选型逻辑会散落到业务代码。任务级是为每个候选模型各装配一个客户端实例由路由组件按任务类型、租户、灰度分组、当前健康度与成本预算来选回滚是改路由配置秒级生效是三者里唯一需要专门设计的。多数团队一上来就想做任务级动态路由实际上进程级已经能覆盖八成需求。推荐的推进次序是三步。第一步先做到按任务建客户端实例业务代码里不写模型名——这一步不涉及多模型却是后面两步的前提。第二步把模型名、凭据、供应商特有选项收敛到装配层的一个文件。第三步真正需要跨供应商灰度或故障转移时才引入路由层。反过来做的团队通常会在第三步上花掉两个月然后发现第一步没做路由层选出来的实例仍然共用同一份提示词与选项。为可移植性付的钱未必换得回来。某团队为了“保持可移植”坚持只用通用选项、只写一份提示词、不使用任何一家的原生结构化输出。结果是在主力模型上本可以省掉的重试全都留着常年多付三成成本而真正需要换模型那天仍然要重调提示词、重跑评测。三种情况下应该主动放弃可移植某项能力带来的收益远大于切换风险业务已经与某项能力深度绑定团队规模不足以维护多套提示词与多套评测。判断标准是这笔可移植性的钱多久能兑现一次如果答案是三年内可能一次也不会那就不该现在付。二路由层的四个输入与三条出路需要路由层时把“选哪个模型”变成一次可解释、可回放的决策而不是一段藏在工厂方法里的 if-else。四个输入分别是任务声明这次调用属于哪个落点、需要哪些能力、可接受的延迟上限、候选清单每个候选模型的能力矩阵、单价、限流配额、近五分钟的健康度与分位耗时、策略配置灰度分组与比例、租户级偏好与合规约束、预算剩余情况、运行时信号当前熔断状态、最近的错误率与限流次数、本次输入的长度估算、是否是重试。决策过程是五步串行筛选能力准入、合规过滤、健康度过滤、成本排序、灰度抽样。五步的顺序不能换——先筛掉不能用的再在能用的里面挑便宜的最后才让灰度比例起作用。把成本排序放到合规前面会出现“便宜但不合法仍被选中”的事故。三条出路是主选、降级链与拒绝。主选是筛选后成本最低的可用候选要把选中的模型名、决策原因、被淘汰候选及淘汰原因一并写进共享上下文。降级链是主选失败时按顺序尝试的备选要区分原因——限流可以换同家的小模型内容拦截换了也没用、应当直接失败。拒绝是无可用候选时的出路不要静默兜底应当返回明确的降级结果让上层决定是排队重试还是转人工。静默兜底会让效果劣化无声无息。路由必须留痕的字段有六个请求标识与工单号任务类型与提示模板版本路由选中的模型与被淘汰的候选及原因是否处于灰度分组、属于哪一组实际返回的模型版本本次是否为降级重试以及前一次失败的分类。缺任何一项事后都会遇到“说不清那天到底走了哪条路”的情况。工单号是高基数只能进日志与链路追踪绝不能作为指标标签低基数的维度任务名、模板版本、模型名、是否降级进指标两者通过请求标识关联。路由做成顾问还是做成组件取舍在于需不需要看到渲染后的提示。做成独立组件、在装配层选出客户端实例结构简单但决策时看不到最终提示、无法按实际长度选模型做成一个序号极小的顾问能看到完整提示、能按真实长度估算但要在顾问内部切换下游模型实现。折中办法是组件先按任务与租户选出候选集合顾问再按实际长度在集合内做最后一次挑选。三离线、影子、灰度的对照次序换模型之前有三种对照方式它们不是备选项而是次序跳过前两步直接灰度等于拿线上工单做实验。离线评测成本最低、覆盖最窄拿固定评测集在候选模型上跑一遍能回答“新模型在我们见过的问题上是不是更好”回答不了真实长尾。关键是评测集要定期从线上采样补充尤其要补进人工纠正过的样本。影子调用成本中等、无用户影响线上走主模型异步复制一份给候选能回答真实流量分布下的效果、延迟与成本不能用于带副作用的链路——不能退两次款。灰度放量成本最高、结论最真按租户或类目稳定分组能回答业务指标有没有变好。分组要稳定观察窗口要覆盖一个完整的业务周期必须准备一键切回。对照的前提两边用的是各自调优过的提示词不是同一份。拿为甲模型写的提示词去测乙模型结论几乎总是错的而且错得很有说服力。影子调用与评测都要单列预算科目。涉及退款、短信、改期的落点不能影子双写只走离线评测加灰度并且灰度期间的自动执行默认降一档。四切回去的成本决定切不切得下去切换方案如果只写“怎么切过去”没有写“怎么在十分钟内切回来”这个方案还不能上线。切回是改路由配置不是发版不是等流水线不是等变更窗口。切回后要能识别出灰度期间产生的数据以便单独分析——这些数据不能直接进入下一轮评测集的“正确样本”因为它们来自一条尚未被承认的路径。切回还要处理“半成品”。草稿落点切回时坐席可能正看着一段尚未完成的流式输出客户端要把“路径已切换”提示给坐席而不是把后半段用新模型续上——口吻跳跃比中断更糟。处置落点切回时已经发出的工具调用按幂等键收敛未发出的不再发。分类落点切回最简单因为结果尚未被下游当成事实使用的窗口最短但仍要把切回前后的类目差记进纠正队列。七、把四件事装成一条控制回路一装配次序限流、降级、容灾、模型切换单独看都对放在一起就会在接缝上长出正反馈。包装顺序决定的是语义不是风格。推荐的由外向内次序是关能力开关、四级降级、路由与模型切换、错误分类器、带预算的重试、按供应商加模型的熔断、三处限流闸门、超时与截止时间、供应商网关。每一层只能看见比它更内层的结果看不见更外层发生了什么——所以语义必须向外传时间与配额必须向内传。两条不变量可以从这张次序里直接读出来。第一任何一层都不应该消费掉它下层的语义。被限流拒绝、被熔断拒绝、被上游取消、被内容拦截这四件事必须以可区分的形式一路向外传递否则外层就会把它们当成“下游故障”处理。第二时间信息必须一路向内传递。外层知道还剩多少毫秒内层知道已经花了多少毫秒两者只有拼在一起才是完整的预算视图。默认实现里这两半从不相遇这正是超时倒挂的根源上层已经给坐席返回了错误下层还在为一个没有人接收的结果生成词元、消耗 TPM。熔断与重试的内外之争在模型调用这条链路上有一个明确答案熔断在重试之内、限流之外。重试只对分类器标为“可重试”的动作生效熔断看到的应当是净化后的失败不含四二九、不含内容拦截、不含被取消的调用。把熔断放在重试之外它会把同一次逻辑请求的多次物理失败当成多次独立失败窗口里的失败率被放大误断提前。把四二九算进熔断额度高峰期会把健康模型切断。正反馈环的形状值得单独看一眼。下游变慢或四二九上游超时增多各层重试同时启动物理请求变成逻辑请求的乘积配额更快耗尽镜像闸门来不及收对方持续四二九备用账号也被打穿熔断把四二九算进失败率健康模型被切断半开窗口集中放量方波反复打回兜底返回空成功看板全绿业务指标掉回升无依据。拆环的四个动作必须同时在限流拒绝不进入重试也不进入熔断失败率重试次数由剩余截止时间反推降级是换路径不是换空对象关能力开关可一键拉下且工单系统可独立运行。二时间与配额预算切分时间预算自上而下切。入口承诺先扣本服务处理与检索剩余才给模型。重试次数等于剩余时间除以单次超时取整再减一减掉的那一次留给降级或换模型。换模型重试必须在剩余预算内否则直接降级。上层放弃后下层必须能被取消取消要传到 HTTP 客户端不能只设一个已经不会被看到的超时。令牌预算自外而内切。月预算切到日日切到租户租户切到落点。进入时按提示长度估算超水位则拦返回时按实际用量回写。八成告警、十成换便宜模型、十二成停止。影子与评测单列科目。两本预算互相约束。时间不够时即使额度充足也不该换一个更慢的大模型去“提高质量”——用户已经等不及了。额度不够时即使时间充足也不该把超时调长去硬等——那是在用体验换一张已经透支的账单。分类落点的时间紧、令牌少适合小模型草稿落点的时间宽、令牌多适合在额度水位健康时走主模型。把两本预算写进路由层的运行时信号路由才能在“此刻”做出与“平时配置”不同的选择。这正是静态配置做不到、动态路由才值得做的原因。截止时间要用绝对时刻透传不要用“还剩多少毫秒”的相对值在每一层重新计算。相对值在排队与锁等待里会漂绝对时刻在进入每一层时减去当前时间才是这一层真正还能花的预算。透传的字段要进链路追踪排障时才能回答“到底是哪一层把预算花光的”。三反馈路径与正反馈环回路要闭环必须规定每一类信号回到哪一层。四二九回到镜像闸门与租户账本不回到重试。首字超时回到路由的健康度过滤可以换同家小模型不把超时调长。模型版本不一致回到告警与灰度冻结不回到自动切版本。人工纠正率回到降级档位的回升判据不回到技术成功率。旁路开关的最近演练时间回到发布门禁超过三十天视为开关不存在。这些回边如果画成一张图会发现它们都不经过“再发一次请求”这条边。这是刻意的。故障期间最贵的动作是增加系统总工作量而重试是四个机制里唯一会增加工作量的。回路的目标是把乘法改成收敛收敛的第一刀就是让不该重试的信号永远走不到重试层。八、落地代码形状与分层分工一统一入口业务代码只表达意图。失败翻译、配额扣减、模型选择都不出现在调用点。工单分类的调用看起来应当是“给出工单号、租户号、截止时间拿回带原因码的分类结果”而不是“new 一个某供应商的客户端再 catch 异常”。调用点越瘦切换越快。统一入口内部的顺序是固定的若为重试则先让分类器翻译上一次失败账本按估算词元做水位拦截路由器按任务声明选出客户端实例执行按实际词元回写账本把模型名、是否降级、原因码、用量一并带回。业务层根据结果决定落库、转人工或关能力。业务层看不到供应商名也看不到状态码。装配多实例时不要直接从零构造构建器那样会丢掉自动装配配好的观测埋点、默认顾问与重试策略。用框架提供的配置器把自建构建器过一遍自动装配的那部分才会被保留。每个落点一个客户端实例提示词、顾问链、工具集合、超时都在装配层一次配齐。业务代码里出现零个模型名字符串是第二步完成的验收标准。二错误分类器、路由器、账本三个组件的边界要写死。分类器输入状态码、响应头、供应商、异常类型输出四类动作枚举加是否允许跨家禁止在业务代码里二次解释状态码内容拦截与欠费走直接失败。账本维度是租户乘落点乘自然日水位八成、十成、十二成估算拦截、实际回写影子与评测走独立科目。路由器五步筛选顺序不可换三条出路都要留痕切回是改配置不是发版处置落点默认不允许跨家热切。分类器要用密封接口或枚举表达结果不要返回布尔值或空对象。布尔值会把“可重试”和“换模型重试”压成同一个 true空对象会把直接失败和降级成功压成同一种形状。账本的金额字段必须用BigDecimal水位比较必须用compareTo禁止转成double再比。路由器的候选清单是接口类型的列表而不是某个供应商实现类的列表——否则“按任务建实例”会在类型上被击穿。线程池禁止用Executors工厂方法。路由里的影子调用、异步回写账本、跨家探测都要走显式配置的ThreadPoolExecutor队列必须有界拒绝策略要能把溢出记进观测而不是静默丢弃。业务代码里创建临时线程池是红线它既没有边界也没有关闭故障期间会把自己变成新的故障源。三网关、应用、供应商三侧分工网关负责入口突发、恶意扫描、粗粒度的请求速率不理解词元不理解模型名。应用层负责三本账里的令牌预算与并发许可、错误分类、路由、降级阶梯、截止时间透传。供应商侧不受你控制但你必须镜像它的配额、记录它的响应模型版本、把它的四二九翻译成一等公民的结果。三侧的拒绝码要能在日志里区分来源网关拒绝、应用账本拒绝、供应商拒绝混成一个 429 会让值班回到猜的状态。服务网格可以分担一部分超时与重试但不能分担失败翻译。网格看见的是 HTTP 状态码看不见“这是内容拦截还是配额耗尽”更看不见“这个四二九是模型级还是账号级”。把模型调用的重试交给网格等于把七类失败重新压回两类。网格适合做连接级的超时与熔断不适合做模型级的路由。职责写进同一份 YAML是限流配乱在基础设施层的对应物。九、观测、演练与发布门禁一必须能回答的十个问题值班要能在五分钟内回答十个问题。此刻主模型是否健康按供应商加模型看错误率与 P99。四二九是哪一本账打满RPM、TPM、租户日额度拆开。当前降到了第几级按落点看降级次数与降级后可用率。路由选了谁、淘汰了谁看决策原因与灰度分组。请求模型与响应模型是否一致抓静默升级。单位工单成本有没有跳按落点、按租户、按日。重试放大了多少倍逻辑请求对比物理往返。人工纠正率有没有涨这是业务成功率。备用供应商今天走过没有看影子命中与备选错误率。关能力开关能不能立刻拉下看旁路演练的最近一次时间。低基数进指标高基数进日志与追踪两者用请求标识关联。工单号、坐席号、完整提示快照不能打成指标标签时间序列会在几天内被撑爆。提示快照里可能仍含业务敏感信息存储要加密并按最小权限开放写失败必须降级放行不能因为审计写不进去而拒绝服务。手机号、身份证号、银行卡号禁止明文进日志脱敏后再落。框架默认给的埋点回答的是“调用发生了什么”业务归因需要的是“这次调用属于谁、为了什么”。要自己补的四个维度是业务对象标识、任务与模板版本、路由与档位、质量结果。缺了质量结果静默降级在技术看板上会永远是绿的。二故障注入矩阵注入要写期望现象更要写不可接受的现象——后者才是回路自我放大的指纹。主模型四二九期望镜像闸门收紧、改走备用或降精度不可接受的是重试把到达率打得更高。主模型首字超时期望换同家小模型、P99 回落不可接受的是把超时调长硬等。主模型版本下线期望路由切到已评测版本不可接受的是业务代码里改模型名发版。整家网关失败期望跨家容灾或降档不可接受的是同家内部空转。租户额度打满期望该租户降档、其它租户不受影响不可接受的是全站被一个租户拖死。内容安全拦截期望直接失败并告警不可接受的是换模型继续生成。备选同时失败期望关能力且工单系统仍可用不可接受的是接口成功、业务空转。半开窗口放量期望探测流量受并发闸门约束不可接受的是方波打回刚恢复的模型。注入要在预发用真实供应商账号做。每季度至少做一次整家失败演练。演练记录进看板最近一次时间、发现的不可接受现象、修复是否已进入门禁。没有记录的演练等于没有做过。三两条告警与一张看板一张值班看板要同时有技术面与业务面。供应商健康看错误率、P99、首字延迟、请求与响应模型一致性、四二九单独一条线。配额水位看集群 RPM 与 TPM、租户日额度分布、镜像闸门拒绝率、影子科目消耗。降级与路由看当前档位、降级次数与回升次数、路由淘汰原因、旁路开关状态。业务结果看人工纠正率、一次解决率、单位工单成本、转人工队列深度。只看错误率会错过静默降级只看业务指标会错过配额击穿。两条告警就够多了没人看。告警一任一落点的业务成功率与技术成功率之差超过阈值持续五分钟。这是静默降级与静默升级的指纹。告警二任一租户或任一供应商的令牌水位在十五分钟内穿过八成且到达率未降。这是配额击穿前的最后窗口。其余信号进看板不进电话。旁路开关的最近演练时间也要在看板上超过三十天没演练过的关能力路径应当被视为不存在。租户账本的三级水位是告警二的落地形态。到八成只告警不改路径给值班留出判断时间到十成只动该租户到十二成停止该租户的智能层。水位按租户隔离全站一个硬顶一定误伤。发布门禁有四条。评测集在四个档位上都跑过且降级档的可用率不低于约定下限。影子科目的预算没有被业务流量挤占。旁路演练在三十天内有记录。业务代码的 diff 里不含模型名字符串、不含对状态码的二次解释。四条任何一条不满足智能层的流量都不该放到百分之百。十、反模式清单与一页纸十二条反模式在联调阶段都看不出来它们的共同特征是把一个机制的输出当成了另一个机制本来的输入语义。把四二九当成五零二重试只限 QPS不限令牌与并发降级返回空成功四级阶梯平时不演练备用模型放在同一家跨家热切处置落点一份提示词通吃所有模型业务代码里写死模型名技术成功率当业务成功率影子流量混进业务账单熔断把限流拒绝算进失败率上层放弃后下层继续生成。修法只有一种把语义约定补回接缝。拒绝就是拒绝降级就是降级切换就是切换。不允许任何一层把这三件事翻译成“调用失败”再交给下一层自由发挥。反模式清单要进代码评审而不是进事后复盘。评审问题可以写成四句这次 diff 有没有新增对状态码的解释有没有新增模型名字符串降级路径有没有测试影子与评测有没有走独立科目一页纸是最低交付标准不满足其中任何一条都不该把智能层的流量放到百分之百。失败语义要七类可区分、四类动作是枚举、内容拦截禁止换模型、欠费禁止打下游。限流要三本账、三处闸门、四二九外传且不计入失败率、本地比对方更早收手。降级要四级阶梯按落点配置、下降易回升难、关能力真实可跑、两张成功率曲线拆开。容灾要故障面分四层、主备加影子为默认、跨家走能力矩阵、处置落点默认降档。切换要按任务建实例、路由五步不可换、离线到影子到灰度、切回是改配置。观测与门禁要十问五分钟内可答、注入矩阵每季演练、旁路开关可一键拉下、评测与影子单列预算。十一、结语从连通性到控制回路调通一次模型接口证明的是网络、密钥、协议这三件事成立。生产要证明的是另一件事当模型不可用、响应过慢、配额耗尽、提供商整段故障这四类事件同时出现时系统仍然知道自己该限流、该降级、该容灾还是该切换并且这些动作消耗的是同一本账、留下的是同一组可回放的证据。限流保护配额。它不是一个 QPS 数字而是并发、速率、令牌三本账落在网关、租户、镜像三处拒绝语义能一路传到重试与熔断之外。降级保护业务路径。它不是一句友好错误而是四级事先写好、事先演练过的梯子下降容易、回升困难关能力是真实开关。容灾保护供应商。它不是同家里换一个模型名而是按区域、账号、版本、整家四层选择处置默认主备加影子跨家走能力矩阵处置落点默认降档。模型切换是执行动作。它不是“改一行配置”而是按任务建实例、用路由五步筛选、用离线到影子到灰度的次序对照并且切回去比切过去更重要。四件事只有共享同一份时间与令牌预算、同一套失败语义、同一个由外向内的装配次序才构成能自动收敛的控制系统。缺任何一项它们就退化成四个互不知情的开关平时看不出差别而在故障的那几分钟里正是这个差别决定了系统是自我收敛还是自我放大。连通性是起点控制回路才是交付物。参考资料Resilience4j 官方文档限流、熔断与重试Sentinel 流量治理规则、隔离与熔断Spring AI 参考文档Chat Client 与模型抽象Spring AI 可观测性与观测约定OpenAI 平台速率限制与最佳实践OpenAI 平台生产最佳实践Azure OpenAI配额与限制Google Cloud Vertex AI配额与系统限制Anthropic速率限制说明AWS Well-Architected机器学习可靠性支柱Google SRE 手册处理过载Google SRE 手册应对级联失效Microsoft Azure 架构中心熔断模式Microsoft Azure 架构中心限流模式Microsoft Azure 架构中心隔舱模式LangChain回退与降级LangChain4j模型与故障恢复PortkeyAI 网关的故障转移与可观测Kong AI Gateway 文档OpenTelemetry 语义约定生成式 AICNCF 云原生可靠性熔断与超时NIST AI 风险管理框架OWASP 机器学习安全 Top 10Twelve-Factor App配置、进程与丢弃JDK HttpClient 官方指南Micrometer 观测文档OpenAI Cookbook生产环境的重试与幂等Google Cloud生成式 AI 的负责任部署Azure 架构中心生成式 AI 解决方案设计AWS Prescriptive Guidance生成式 AI 的韧性
