文章摘要前七篇已经完成文档解析、混合召回、索引版本治理、质量评测、查询增强、可信证据和缓存一致性。系统已经具备较完整的离线工程能力但只依赖上线前数据集仍然不够。真实用户会带来开发团队从未考虑的口语表达、长文档、权限组合、动态数据、多轮指代、缓存边界和工具异常生产环境还会发生Provider漂移、文档更新、灰度配置差异和并发竞态。如果线上失败只停留在客服工单和点踩统计中系统会重复犯同样的错误。如果把所有负反馈直接写进训练集又会引入采样偏差、标签污染和隐私风险。本篇将企业RAG推进到“持续优化闭环”。每个回答生成不可变Response ID并关联Spring AI的ChatClient、Advisor、ChatModel、Tool和VectorStore Trace显式反馈、隐式行为、业务结果、自动Evaluator和专家标注被建模为不同强度的Quality Signal失败候选经过幂等聚合、Replay、第一分叉定位、领域专家标注和仲裁后才能进入新的Dataset Version数据集发布触发Baseline/Candidate评测、GitHub质量门禁、影子流量和Canary线上新事故继续回流。完成本篇后系统不再依赖“出现问题再人工调Prompt”而是形成一条可审计的数据飞轮生产信号 →失败样本 →根因定位 →数据集 →修复 →评测 →灰度 →新信号一、本篇在整个RAG体系中的位置前七篇文档解析与Chunk ↓ 混合召回 ↓ 索引版本治理 ↓ 离线质量评测 ↓ 查询理解与增强 ↓ 上下文压缩与可信引用 ↓ 缓存治理本篇增加线上Trace ↓ 用户与业务反馈 ↓ 失败候选 ↓ Replay ↓ 专家标注 ↓ 数据集回流 ↓ 质量门禁 ↓ 持续发布二、为什么离线数据集永远不完整上线前数据主要来自产品设计-领域专家-历史案例-合成问题-公开数据。真实生产会出现错别字-省略主语-多意图-真实附件-超长上下文-旧制度与新制度冲突-权限撤销-多租户-缓存命中-工具超时-用户连续修改目标。因此数据集必须持续演进。三、反馈闭环的错误做法用户点踩 ↓ 把问题加入Prompt示例 ↓ 第二天上线问题点踩原因不明-可能不是模型问题-没有标准答案-可能含敏感信息-没有回归测试-会对其他场景造成副作用。四、正确闭环Quality Signal ↓ Failure Candidate ↓ Triage ↓ Replay ↓ Root Cause ↓ Annotation ↓ Dataset Case ↓ Offline Evaluation ↓ Shadow ↓ Canary ↓ Production五、五类质量信号1. 用户显式反馈 2. 用户隐式行为 3. 系统与自动Evaluator 4. 业务最终结果 5. 专家标注它们不能混为一个标签。六、显式反馈包括点赞-点踩-星级-原因-自由评论-提交修正。主要表达用户主观体验不自动等于事实正确。七、隐式行为包括重试-问题改写-引用点击-复制-转人工-放弃-导出-再次投诉。它们是弱信号需要上下文解释。八、自动质量信号Invalid Citation Unsupported Claim Forbidden Document Tool Failure Cache Stale High Latency High Cost Low Judge Score Schema Failure Security Alert确定性规则信号通常比开放Judge更可靠。九、业务结果例如工单解决-报告采用-合同风险确认-退款成功-人工返工-客户重复联系。它更接近实际价值但存在延迟和归因问题。十、专家标注高风险任务需要领域专家-独立标注-Rubric-一致率-仲裁。专家标注是高成本强信号不适合覆盖全部流量。十一、质量信号模型publicrecordQualitySignal(StringsignalId,StringresponseId,StringtraceId,SignalTypetype,SignalReliabilityreliability,JsonNodevalue,StringsourceVersion,InstantobservedAt,InstantvalidUntil){}十二、可靠性分级publicenumSignalReliability{WEAK,MODERATE,STRONG,GOLD}示例复制WEAK 点踩原因MODERATE 业务最终状态STRONG 专家仲裁GOLD十三、Response ID是闭环主键所有信息围绕response_id关联Request-Trace-模型-Prompt-Query Plan-Evidence-Tool-缓存-反馈-业务结果-标注-数据集。十四、Response RegistrypublicrecordAiResponseRecord(StringresponseId,StringrequestId,StringtraceId,StringtenantId,StringsubjectHash,TaskTypetaskType,RiskLevelriskLevel,RuntimeManifestruntime,StringrequestSnapshotRef,StringqueryPlanRef,StringevidenceBundleId,StringtoolTraceRef,StringoutputRef,CacheHitInfocache,UsageSnapshotusage,Durationlatency,ResponseStatusstatus,InstantcreatedAt){}十五、Runtime ManifestpublicrecordRuntimeManifest(StringapplicationRelease,StringgitCommit,StringmodelProfileVersion,StringresolvedModel,StringpromptManifestHash,StringadvisorManifestHash,StringknowledgeReleaseVersion,StringindexVersion,StringqueryPolicyVersion,StringretrievalProfileVersion,StringrerankerProfileVersion,StringcompressionProfileVersion,StringtoolCatalogVersion,StringcacheSchemaVersion,MapString,StringfeatureFlags){}十六、Spring AI ObservabilitySpring AI对以下组件提供ObservationChatClientAdvisorChatModelEmbeddingTool CallingVectorStore。本篇将response_id runtime_manifest_hash knowledge_release cache_layer写入Trace上下文。十七、Prompt和Completion内容默认不写普通日志。原因PII-商业秘密-合同-内部文档-Tool参数-模型返回。采用分层Metric无正文 TraceHash和版本 受控存储授权采样正文十八、Trace采样100%元数据 100%错误和安全事件 100%高风险 低风险正常请求按比例Tail Sampling更适合保留高延迟-高成本-负反馈-低Judge-Canary-工具失败。十九、Baggage注意事项跨服务传播response_id release_version tenant_hash不要传播完整Prompt-PII-合同正文-Secret。Baggage通过请求头传播不是安全存储。二十、Feedback EventpublicrecordAiFeedbackEvent(StringeventId,StringresponseId,StringtraceId,StringtenantId,StringsubjectHash,FeedbackTypetype,FeedbackReasonreason,Integerrating,StringcommentRef,StringuiVersion,InstantoccurredAt){}二十一、反馈UI版本反馈率会受按钮位置-颜色-默认选项-弹窗频率-文案影响。因此必须记录ui_version invitation_exposed二十二、反馈事件幂等前端可能重发消息可能重复。使用event_id以及消费者Inbox。二十三、反馈修改用户可以点赞 →点踩Event保留历史State保存当前值。聚合时明确使用当前状态-历史变更-事件数。二十四、自由评论存储评论与主事件分离反馈事件只保存comment_ref评论进入加密对象存储-PII扫描-权限-保留期-审计。二十五、用户反馈的偏差包括自选择-UI-曝光-任务难度-迎合性-回答长度-响应速度-组织权重。所以不能直接点赞正样本 点踩负样本二十六、奖励黑客系统可能学会更自信-更长-更迎合-更少拒答-更少转人工。表面指标上升但Groundedness下降-安全下降-业务错误上升。二十七、组合告警点赞率↑ 且 Claim Support↓ 复制率↑ 且 回答长度暴涨 转人工率↓ 且 业务失败↑ 拒答率↓ 且 安全事件↑二十八、Failure CandidatepublicrecordFailureCandidate(StringcandidateId,StringresponseId,FailureCandidateStatusstatus,SetStringreasons,FailureComponentprobableComponent,SeverityestimatedSeverity,longexposureCount,doublepriorityScore,InstantcreatedAt){}二十九、候选规则进入候选的情况点踩明确原因-重复提问-人工纠正-Invalid Citation-Unsupported Claim-安全告警-业务失败-高成本异常-缓存旧答案-Tool错误。三十、弱信号只做发现复制 停留 引用点击可以帮助发现候选但不能直接定义Expected Answer。三十一、失败组件publicenumFailureComponent{QUERY_UNDERSTANDING,RETRIEVAL,RERANK,COMPRESSION,EVIDENCE_BINDING,GENERATION,TOOL,CACHE,PERMISSION,KNOWLEDGE_CONTENT,UI,USER_EXPECTATION}三十二、第一分叉Query Plan错 →Query Understanding 正确文档未召回 →Retrieval 正确候选被降序 →Rerank 条件被压缩丢失 →Compression 引用错位 →Evidence Binding Evidence正确但Claim错误 →Generation 工具参数错误 →Tool 返回旧答案 →Cache三十三、Replay PackagepublicrecordAiReplayPackage(AiRequestSnapshotrequest,RuntimeManifestruntime,QueryPlanSnapshotqueryPlan,ListRetrievalStageSnapshotretrieval,EvidenceBundleevidence,ListToolExecutionSnapshottools,CacheExecutionSnapshotcache,GroundedAnsweroutput,ValidationSnapshotvalidation){}三十四、Replay模式publicenumReplayMode{EXACT_ARTIFACT,RECORDED_DEPENDENCIES,CURRENT_CANDIDATE,COMPONENT_ISOLATION}三十五、Recorded Dependencies使用原始Tool响应-Evidence-缓存响应-时间-外部状态。适合复现模型行为。三十六、Live Dependencies使用当前系统。适合验证现在是否已经修复但不能证明当时为什么错。三十七、副作用工具Replay中Stub-Dry Run-Sandbox-录制响应。禁止真实退款、发券和发邮件。三十八、Replay判定不比较全文。比较Required Claims-Forbidden Claims-Evidence-Tool-结构-安全-业务状态。三十九、不可复现的处理如果旧模型或索引不可用报告missing_artifact replay_limitation仍可创建结构化事故Case验证修复目标。四十、失败聚类按根因-任务-版本-实体-文档-语言-模型-Prompt聚类计算影响。四十一、优先级severity × exposure × recurrence × business_impact × safety_multiplier安全事件优先。四十二、Triage状态机publicenumFailureCandidateStatus{CANDIDATE,TRIAGED,REPRODUCIBLE,LABELED,APPROVED,QUARANTINED,RESOLVED}四十三、专家标注publicrecordExpertAnnotation(StringannotationId,StringcandidateId,StringannotatorHash,StringannotatorRole,StringrubricVersion,AnnotationDecisiondecision,FailureComponentcomponent,Severityseverity,ExpectedBehaviorexpected,StringrationaleRef,InstantcreatedAt){}四十四、独立标注与仲裁流程专家A 专家B ↓ 一致率 ├─高合并 └─低仲裁业务规则不清时先修规则不要强行标注。四十五、Expected BehaviorpublicrecordExpectedBehavior(JsonNodeexactOutput,ListExpectedClaimrequiredClaims,ListStringforbiddenClaims,SetStringrequiredDocumentIds,SetStringforbiddenDocumentIds,ExpectedToolTracetoolTrace,RefusalExpectationrefusal,QualityRubricrubric){}四十六、生产样本脱敏流程原始Case ↓ 实体识别 ↓ 一致替换 ↓ 敏感字段移除 ↓ 结构校验 ↓ 故障复现 ↓ 专家确认脱敏不能破坏根因。四十七、Data ProvenancepublicrecordDataProvenance(StringsourceResponseId,StringreplayId,StringannotationTaskId,StringadjudicationId,StringsanitizationVersion,StringoriginalContentHash,InstantapprovedAt){}四十八、Dataset分层development regression incident security production-replay hidden-acceptance canary四十九、事故集以下永久回归跨租户-错误金额-旧政策-非法引用-重复副作用-Prompt Injection-缓存串答-权限泄露。零容忍。五十、Dataset ManifestpublicrecordDatasetManifest(StringdatasetId,Stringversion,StringparentVersion,intcaseCount,MapString,LongsliceCounts,SetStringsources,StringcontentHash,StringapprovalId,InstantfrozenAt){}冻结后不可覆盖。五十一、Dataset发布Draft →Review →Approve →Freeze →Publish新版本保留父版本。五十二、生产失败到数据集的SLA按严重级别P0安全24小时内 P1高风险3天内 P2普通一周内 P3体验按迭代监控production_to_dataset_lag五十三、离线评测新Case进入后比较Baseline Current Production Candidate需要区分已知生产缺陷-候选新回归-候选已修复。五十四、质量门禁事故Case必须全部通过普通反馈Case按Slice通过率安全集失败数0五十五、GitHub状态检查ai-quality-gate设为受保护分支必需检查。失败时不能合并。质量门禁包括Regression-Incident-Security-成本-延迟。五十六、影子流量Candidate接收生产请求副本。要求不影响用户-副作用禁用-权限一致-数据区域一致-成本控制-Trace完整。五十七、Canary放量1% →5% →20% →50% →100%每阶段检查错误-Claim-引用-用户反馈-业务结果-成本-延迟-安全。五十八、反馈指标的延迟即时点赞-重试-延迟。延迟工单解决-业务采用-返工-投诉。Canary不能只等即时指标。高风险发布可能需要较长观察窗。五十九、线上Judge异步抽样运行Relevance-Groundedness-安全-引用-格式。它用于异常发现不直接当最终真值。六十、人工抽样不要只抽低Judge分。还要抽高分-无反馈-新任务-长尾-高风险-Canary-缓存命中。防止Judge盲区。六十一、知识缺口正确答案不在知识库Knowledge Gap流转给知识运营新增文档-修正文档-更新版本-补Metadata-重新索引。不要靠模型猜。六十二、Query问题实体和否定改写错误修Query Policy并加入Query Plan回归-缓存等价回归-检索回归。六十三、Retrieval问题正确文档未召回Chunk-Embedding-Sparse-同义词-过滤-Top-K-索引-Multi-Query。修复必须先通过Recall数据集。六十四、Rerank问题正确候选被排出特征-候选数-模型-多样性-条件完整性。建立Rerank对比样本。六十五、Compression问题数字和否定丢失风险路由-关键Token-操作符-Source Span-回退。事故Case加入Protected Fact Slice。六十六、Generation问题Evidence正确但回答错误Prompt-模型-输出Schema-Claim校验-拒答策略。不要修改检索掩盖生成问题。六十七、Cache问题假命中或旧答案Context Hash-阈值-版本-权限-TTL-失效事件-写入门禁。加入相似但不等价的负对。六十八、Tool问题参数-权限-顺序-幂等-回调-副作用。回归Case检查完整Tool Trace。六十九、闭环中的版本ArtifactDataset Version Prompt Version Model Profile Query Policy Retrieval Profile Reranker Profile Compression Profile Cache Policy Tool Catalog每次修复必须明确改了哪个Artifact。七十、修复记录publicrecordQualityFixRecord(StringfixId,SetStringfailureCaseIds,FailureComponentcomponent,StringartifactType,StringpreviousVersion,StringcandidateVersion,StringevaluationRunId,StringreleaseId,InstantcreatedAt){}七十一、效果归因发布后比较目标Slice 改善了吗 其他Slice 退化了吗 成本与延迟 变化多少不要只看全局点赞。七十二、多目标ScorecardpublicrecordQualityScorecard(doublecorrectness,doublegroundedness,doubleuserSatisfaction,doublebusinessSuccess,doublesafety,doublelatency,doublecost,doubleescalationRate){}每个维度单独报告。七十三、奖励黑客门禁reward-hacking-gate:maximum-groundedness-regression:0maximum-answer-length-increase:0.30maximum-unsupported-claim-rate:0.01minimum-business-success-rate:0.90回答变长不是自动失败但需要解释收益。七十四、隐私与合规生产反馈回流前检查用户同意-租户合同-数据区域-保留-删除-访问-第三方模型-敏感字段-版权。七十五、删除请求用户删除数据时需要定位Response Trace Content Feedback Comment Replay Package Dataset Case如果Case已脱敏且无法回识可按政策保留否则发布新Dataset版本移除。七十六、指标ai_quality_signal_total{ type, reliability } ai_failure_candidate_total{ status, component } ai_replay_reproduced_rate{ component } ai_annotation_agreement ai_dataset_case_total{ source, risk } ai_production_to_dataset_lag_seconds ai_known_incident_pass_rate{ release } ai_canary_feedback_rate{ variant } ai_reward_hacking_signal_total{ type }七十七、告警P0候选未及时Triage Replay Artifact缺失 专家标注积压 事故集出现回归 Canary点踩与纠正率上升 Groundedness下降但点赞上升 知识缺口持续增加七十八、测试一Response关联反馈、Trace、Evidence和业务结果都能通过Response ID关联。七十九、测试二重复反馈同Event ID只处理一次。八十、测试三第一分叉压缩丢失金额Replay必须定位Compression。八十一、测试四副作用Replay不得执行真实退款。八十二、测试五标注分歧一致率不足Case不能Approved。八十三、测试六数据集冻结Frozen版本不可修改。八十四、测试七事故门禁任何Incident Case失败发布阻断。八十五、测试八奖励黑客Candidate点赞预测提升但Claim Support下降Gate失败。八十六、测试九Canary回流Canary Variant反馈必须关联Variant和Release。八十七、测试十删除传播敏感内容删除后受影响Case按政策退休或重发版本。八十八、上线策略阶段1 只采集Trace和反馈 阶段2 自动生成Failure Candidate 阶段3 人工Replay和标注 阶段4 Dataset自动触发评测 阶段5 低风险修复自动进入Canary 高风险始终需要人工批准八十九、组织职责产品反馈UI与体验指标 AI工程Replay与修复 领域专家真值 知识运营知识缺口 安全合规权限和保留 平台工程Trace、Outbox、Dataset和CI九十、闭环治理会议定期审查Top Failure Clusters-P0/P1-知识缺口-回归-标注一致率-数据偏差-Canary-成本-奖励黑客。不是只看点赞排行榜。九十一、本篇完整链路用户请求 ↓ Response IDSpring AI Trace ↓ 显式/隐式/业务/自动信号 ↓ OutboxKafkaInbox ↓ Failure Candidate ↓ Replay Package ↓ 第一分叉 ↓ 专家标注仲裁 ↓ 脱敏Evaluation Case ↓ Dataset Version ↓ Baseline/Candidate评测 ↓ GitHub Quality Gate ↓ Shadow ↓ Canary ↓ 生产反馈继续回流九十二、上线检查清单□ 每个回答有不可变Response ID □ Spring AI组件Trace可关联 □ Runtime Manifest完整 □ Prompt和Completion默认不写普通日志 □ 敏感内容分层存储 □ 显式、隐式、业务和专家信号分开 □ 反馈事件幂等并支持修改 □ Outbox与业务事务一致 □ 消费者使用Inbox □ 弱信号只生成候选 □ Candidate按风险和影响排序 □ Replay可以使用Recorded Dependencies □ 副作用工具不会真实执行 □ 可以定位第一分叉 □ 高风险由领域专家独立标注 □ 分歧样本经过仲裁 □ 生产样本脱敏后重新验证 □ Dataset冻结、版本化和有Provenance □ 事故集零容忍 □ GitHub质量门禁阻止回归 □ 影子与Canary关联Release和Variant □ 奖励黑客通过组合指标检测 □ 知识缺口和工程缺陷分别流转 □ 隐私、保留和删除贯穿全链路总结企业RAG的持续优化不能依赖人工感觉也不能把所有点踩自动喂回模型。真正可靠的数据飞轮是线上信号 可重放Trace 根因归因 专家真值 版本化数据集 自动质量门禁 渐进式发布弱信号负责发现问题Replay负责解释问题专家和业务结果负责定义正确答案Dataset负责永久防止回归。当每个生产事故都能转化为一个可执行Case每次修复都能证明目标问题改善且其他能力没有退化RAG系统才真正进入可持续优化阶段。下一篇将继续实现企业级RAG性能优化与质量治理9全链路压测、容量规划与成本优化。
文章摘要前七篇已经完成文档解析、混合召回、索引版本治理、质量评测、查询增强、可信证据和缓存一致性。系统已经具备较完整的离线工程能力但只依赖上线前数据集仍然不够。真实用户会带来开发团队从未考虑的口语表达、长文档、权限组合、动态数据、多轮指代、缓存边界和工具异常生产环境还会发生Provider漂移、文档更新、灰度配置差异和并发竞态。如果线上失败只停留在客服工单和点踩统计中系统会重复犯同样的错误。如果把所有负反馈直接写进训练集又会引入采样偏差、标签污染和隐私风险。本篇将企业RAG推进到“持续优化闭环”。每个回答生成不可变Response ID并关联Spring AI的ChatClient、Advisor、ChatModel、Tool和VectorStore Trace显式反馈、隐式行为、业务结果、自动Evaluator和专家标注被建模为不同强度的Quality Signal失败候选经过幂等聚合、Replay、第一分叉定位、领域专家标注和仲裁后才能进入新的Dataset Version数据集发布触发Baseline/Candidate评测、GitHub质量门禁、影子流量和Canary线上新事故继续回流。完成本篇后系统不再依赖“出现问题再人工调Prompt”而是形成一条可审计的数据飞轮生产信号 →失败样本 →根因定位 →数据集 →修复 →评测 →灰度 →新信号一、本篇在整个RAG体系中的位置前七篇文档解析与Chunk ↓ 混合召回 ↓ 索引版本治理 ↓ 离线质量评测 ↓ 查询理解与增强 ↓ 上下文压缩与可信引用 ↓ 缓存治理本篇增加线上Trace ↓ 用户与业务反馈 ↓ 失败候选 ↓ Replay ↓ 专家标注 ↓ 数据集回流 ↓ 质量门禁 ↓ 持续发布二、为什么离线数据集永远不完整上线前数据主要来自产品设计-领域专家-历史案例-合成问题-公开数据。真实生产会出现错别字-省略主语-多意图-真实附件-超长上下文-旧制度与新制度冲突-权限撤销-多租户-缓存命中-工具超时-用户连续修改目标。因此数据集必须持续演进。三、反馈闭环的错误做法用户点踩 ↓ 把问题加入Prompt示例 ↓ 第二天上线问题点踩原因不明-可能不是模型问题-没有标准答案-可能含敏感信息-没有回归测试-会对其他场景造成副作用。四、正确闭环Quality Signal ↓ Failure Candidate ↓ Triage ↓ Replay ↓ Root Cause ↓ Annotation ↓ Dataset Case ↓ Offline Evaluation ↓ Shadow ↓ Canary ↓ Production五、五类质量信号1. 用户显式反馈 2. 用户隐式行为 3. 系统与自动Evaluator 4. 业务最终结果 5. 专家标注它们不能混为一个标签。六、显式反馈包括点赞-点踩-星级-原因-自由评论-提交修正。主要表达用户主观体验不自动等于事实正确。七、隐式行为包括重试-问题改写-引用点击-复制-转人工-放弃-导出-再次投诉。它们是弱信号需要上下文解释。八、自动质量信号Invalid Citation Unsupported Claim Forbidden Document Tool Failure Cache Stale High Latency High Cost Low Judge Score Schema Failure Security Alert确定性规则信号通常比开放Judge更可靠。九、业务结果例如工单解决-报告采用-合同风险确认-退款成功-人工返工-客户重复联系。它更接近实际价值但存在延迟和归因问题。十、专家标注高风险任务需要领域专家-独立标注-Rubric-一致率-仲裁。专家标注是高成本强信号不适合覆盖全部流量。十一、质量信号模型publicrecordQualitySignal(StringsignalId,StringresponseId,StringtraceId,SignalTypetype,SignalReliabilityreliability,JsonNodevalue,StringsourceVersion,InstantobservedAt,InstantvalidUntil){}十二、可靠性分级publicenumSignalReliability{WEAK,MODERATE,STRONG,GOLD}示例复制WEAK 点踩原因MODERATE 业务最终状态STRONG 专家仲裁GOLD十三、Response ID是闭环主键所有信息围绕response_id关联Request-Trace-模型-Prompt-Query Plan-Evidence-Tool-缓存-反馈-业务结果-标注-数据集。十四、Response RegistrypublicrecordAiResponseRecord(StringresponseId,StringrequestId,StringtraceId,StringtenantId,StringsubjectHash,TaskTypetaskType,RiskLevelriskLevel,RuntimeManifestruntime,StringrequestSnapshotRef,StringqueryPlanRef,StringevidenceBundleId,StringtoolTraceRef,StringoutputRef,CacheHitInfocache,UsageSnapshotusage,Durationlatency,ResponseStatusstatus,InstantcreatedAt){}十五、Runtime ManifestpublicrecordRuntimeManifest(StringapplicationRelease,StringgitCommit,StringmodelProfileVersion,StringresolvedModel,StringpromptManifestHash,StringadvisorManifestHash,StringknowledgeReleaseVersion,StringindexVersion,StringqueryPolicyVersion,StringretrievalProfileVersion,StringrerankerProfileVersion,StringcompressionProfileVersion,StringtoolCatalogVersion,StringcacheSchemaVersion,MapString,StringfeatureFlags){}十六、Spring AI ObservabilitySpring AI对以下组件提供ObservationChatClientAdvisorChatModelEmbeddingTool CallingVectorStore。本篇将response_id runtime_manifest_hash knowledge_release cache_layer写入Trace上下文。十七、Prompt和Completion内容默认不写普通日志。原因PII-商业秘密-合同-内部文档-Tool参数-模型返回。采用分层Metric无正文 TraceHash和版本 受控存储授权采样正文十八、Trace采样100%元数据 100%错误和安全事件 100%高风险 低风险正常请求按比例Tail Sampling更适合保留高延迟-高成本-负反馈-低Judge-Canary-工具失败。十九、Baggage注意事项跨服务传播response_id release_version tenant_hash不要传播完整Prompt-PII-合同正文-Secret。Baggage通过请求头传播不是安全存储。二十、Feedback EventpublicrecordAiFeedbackEvent(StringeventId,StringresponseId,StringtraceId,StringtenantId,StringsubjectHash,FeedbackTypetype,FeedbackReasonreason,Integerrating,StringcommentRef,StringuiVersion,InstantoccurredAt){}二十一、反馈UI版本反馈率会受按钮位置-颜色-默认选项-弹窗频率-文案影响。因此必须记录ui_version invitation_exposed二十二、反馈事件幂等前端可能重发消息可能重复。使用event_id以及消费者Inbox。二十三、反馈修改用户可以点赞 →点踩Event保留历史State保存当前值。聚合时明确使用当前状态-历史变更-事件数。二十四、自由评论存储评论与主事件分离反馈事件只保存comment_ref评论进入加密对象存储-PII扫描-权限-保留期-审计。二十五、用户反馈的偏差包括自选择-UI-曝光-任务难度-迎合性-回答长度-响应速度-组织权重。所以不能直接点赞正样本 点踩负样本二十六、奖励黑客系统可能学会更自信-更长-更迎合-更少拒答-更少转人工。表面指标上升但Groundedness下降-安全下降-业务错误上升。二十七、组合告警点赞率↑ 且 Claim Support↓ 复制率↑ 且 回答长度暴涨 转人工率↓ 且 业务失败↑ 拒答率↓ 且 安全事件↑二十八、Failure CandidatepublicrecordFailureCandidate(StringcandidateId,StringresponseId,FailureCandidateStatusstatus,SetStringreasons,FailureComponentprobableComponent,SeverityestimatedSeverity,longexposureCount,doublepriorityScore,InstantcreatedAt){}二十九、候选规则进入候选的情况点踩明确原因-重复提问-人工纠正-Invalid Citation-Unsupported Claim-安全告警-业务失败-高成本异常-缓存旧答案-Tool错误。三十、弱信号只做发现复制 停留 引用点击可以帮助发现候选但不能直接定义Expected Answer。三十一、失败组件publicenumFailureComponent{QUERY_UNDERSTANDING,RETRIEVAL,RERANK,COMPRESSION,EVIDENCE_BINDING,GENERATION,TOOL,CACHE,PERMISSION,KNOWLEDGE_CONTENT,UI,USER_EXPECTATION}三十二、第一分叉Query Plan错 →Query Understanding 正确文档未召回 →Retrieval 正确候选被降序 →Rerank 条件被压缩丢失 →Compression 引用错位 →Evidence Binding Evidence正确但Claim错误 →Generation 工具参数错误 →Tool 返回旧答案 →Cache三十三、Replay PackagepublicrecordAiReplayPackage(AiRequestSnapshotrequest,RuntimeManifestruntime,QueryPlanSnapshotqueryPlan,ListRetrievalStageSnapshotretrieval,EvidenceBundleevidence,ListToolExecutionSnapshottools,CacheExecutionSnapshotcache,GroundedAnsweroutput,ValidationSnapshotvalidation){}三十四、Replay模式publicenumReplayMode{EXACT_ARTIFACT,RECORDED_DEPENDENCIES,CURRENT_CANDIDATE,COMPONENT_ISOLATION}三十五、Recorded Dependencies使用原始Tool响应-Evidence-缓存响应-时间-外部状态。适合复现模型行为。三十六、Live Dependencies使用当前系统。适合验证现在是否已经修复但不能证明当时为什么错。三十七、副作用工具Replay中Stub-Dry Run-Sandbox-录制响应。禁止真实退款、发券和发邮件。三十八、Replay判定不比较全文。比较Required Claims-Forbidden Claims-Evidence-Tool-结构-安全-业务状态。三十九、不可复现的处理如果旧模型或索引不可用报告missing_artifact replay_limitation仍可创建结构化事故Case验证修复目标。四十、失败聚类按根因-任务-版本-实体-文档-语言-模型-Prompt聚类计算影响。四十一、优先级severity × exposure × recurrence × business_impact × safety_multiplier安全事件优先。四十二、Triage状态机publicenumFailureCandidateStatus{CANDIDATE,TRIAGED,REPRODUCIBLE,LABELED,APPROVED,QUARANTINED,RESOLVED}四十三、专家标注publicrecordExpertAnnotation(StringannotationId,StringcandidateId,StringannotatorHash,StringannotatorRole,StringrubricVersion,AnnotationDecisiondecision,FailureComponentcomponent,Severityseverity,ExpectedBehaviorexpected,StringrationaleRef,InstantcreatedAt){}四十四、独立标注与仲裁流程专家A 专家B ↓ 一致率 ├─高合并 └─低仲裁业务规则不清时先修规则不要强行标注。四十五、Expected BehaviorpublicrecordExpectedBehavior(JsonNodeexactOutput,ListExpectedClaimrequiredClaims,ListStringforbiddenClaims,SetStringrequiredDocumentIds,SetStringforbiddenDocumentIds,ExpectedToolTracetoolTrace,RefusalExpectationrefusal,QualityRubricrubric){}四十六、生产样本脱敏流程原始Case ↓ 实体识别 ↓ 一致替换 ↓ 敏感字段移除 ↓ 结构校验 ↓ 故障复现 ↓ 专家确认脱敏不能破坏根因。四十七、Data ProvenancepublicrecordDataProvenance(StringsourceResponseId,StringreplayId,StringannotationTaskId,StringadjudicationId,StringsanitizationVersion,StringoriginalContentHash,InstantapprovedAt){}四十八、Dataset分层development regression incident security production-replay hidden-acceptance canary四十九、事故集以下永久回归跨租户-错误金额-旧政策-非法引用-重复副作用-Prompt Injection-缓存串答-权限泄露。零容忍。五十、Dataset ManifestpublicrecordDatasetManifest(StringdatasetId,Stringversion,StringparentVersion,intcaseCount,MapString,LongsliceCounts,SetStringsources,StringcontentHash,StringapprovalId,InstantfrozenAt){}冻结后不可覆盖。五十一、Dataset发布Draft →Review →Approve →Freeze →Publish新版本保留父版本。五十二、生产失败到数据集的SLA按严重级别P0安全24小时内 P1高风险3天内 P2普通一周内 P3体验按迭代监控production_to_dataset_lag五十三、离线评测新Case进入后比较Baseline Current Production Candidate需要区分已知生产缺陷-候选新回归-候选已修复。五十四、质量门禁事故Case必须全部通过普通反馈Case按Slice通过率安全集失败数0五十五、GitHub状态检查ai-quality-gate设为受保护分支必需检查。失败时不能合并。质量门禁包括Regression-Incident-Security-成本-延迟。五十六、影子流量Candidate接收生产请求副本。要求不影响用户-副作用禁用-权限一致-数据区域一致-成本控制-Trace完整。五十七、Canary放量1% →5% →20% →50% →100%每阶段检查错误-Claim-引用-用户反馈-业务结果-成本-延迟-安全。五十八、反馈指标的延迟即时点赞-重试-延迟。延迟工单解决-业务采用-返工-投诉。Canary不能只等即时指标。高风险发布可能需要较长观察窗。五十九、线上Judge异步抽样运行Relevance-Groundedness-安全-引用-格式。它用于异常发现不直接当最终真值。六十、人工抽样不要只抽低Judge分。还要抽高分-无反馈-新任务-长尾-高风险-Canary-缓存命中。防止Judge盲区。六十一、知识缺口正确答案不在知识库Knowledge Gap流转给知识运营新增文档-修正文档-更新版本-补Metadata-重新索引。不要靠模型猜。六十二、Query问题实体和否定改写错误修Query Policy并加入Query Plan回归-缓存等价回归-检索回归。六十三、Retrieval问题正确文档未召回Chunk-Embedding-Sparse-同义词-过滤-Top-K-索引-Multi-Query。修复必须先通过Recall数据集。六十四、Rerank问题正确候选被排出特征-候选数-模型-多样性-条件完整性。建立Rerank对比样本。六十五、Compression问题数字和否定丢失风险路由-关键Token-操作符-Source Span-回退。事故Case加入Protected Fact Slice。六十六、Generation问题Evidence正确但回答错误Prompt-模型-输出Schema-Claim校验-拒答策略。不要修改检索掩盖生成问题。六十七、Cache问题假命中或旧答案Context Hash-阈值-版本-权限-TTL-失效事件-写入门禁。加入相似但不等价的负对。六十八、Tool问题参数-权限-顺序-幂等-回调-副作用。回归Case检查完整Tool Trace。六十九、闭环中的版本ArtifactDataset Version Prompt Version Model Profile Query Policy Retrieval Profile Reranker Profile Compression Profile Cache Policy Tool Catalog每次修复必须明确改了哪个Artifact。七十、修复记录publicrecordQualityFixRecord(StringfixId,SetStringfailureCaseIds,FailureComponentcomponent,StringartifactType,StringpreviousVersion,StringcandidateVersion,StringevaluationRunId,StringreleaseId,InstantcreatedAt){}七十一、效果归因发布后比较目标Slice 改善了吗 其他Slice 退化了吗 成本与延迟 变化多少不要只看全局点赞。七十二、多目标ScorecardpublicrecordQualityScorecard(doublecorrectness,doublegroundedness,doubleuserSatisfaction,doublebusinessSuccess,doublesafety,doublelatency,doublecost,doubleescalationRate){}每个维度单独报告。七十三、奖励黑客门禁reward-hacking-gate:maximum-groundedness-regression:0maximum-answer-length-increase:0.30maximum-unsupported-claim-rate:0.01minimum-business-success-rate:0.90回答变长不是自动失败但需要解释收益。七十四、隐私与合规生产反馈回流前检查用户同意-租户合同-数据区域-保留-删除-访问-第三方模型-敏感字段-版权。七十五、删除请求用户删除数据时需要定位Response Trace Content Feedback Comment Replay Package Dataset Case如果Case已脱敏且无法回识可按政策保留否则发布新Dataset版本移除。七十六、指标ai_quality_signal_total{ type, reliability } ai_failure_candidate_total{ status, component } ai_replay_reproduced_rate{ component } ai_annotation_agreement ai_dataset_case_total{ source, risk } ai_production_to_dataset_lag_seconds ai_known_incident_pass_rate{ release } ai_canary_feedback_rate{ variant } ai_reward_hacking_signal_total{ type }七十七、告警P0候选未及时Triage Replay Artifact缺失 专家标注积压 事故集出现回归 Canary点踩与纠正率上升 Groundedness下降但点赞上升 知识缺口持续增加七十八、测试一Response关联反馈、Trace、Evidence和业务结果都能通过Response ID关联。七十九、测试二重复反馈同Event ID只处理一次。八十、测试三第一分叉压缩丢失金额Replay必须定位Compression。八十一、测试四副作用Replay不得执行真实退款。八十二、测试五标注分歧一致率不足Case不能Approved。八十三、测试六数据集冻结Frozen版本不可修改。八十四、测试七事故门禁任何Incident Case失败发布阻断。八十五、测试八奖励黑客Candidate点赞预测提升但Claim Support下降Gate失败。八十六、测试九Canary回流Canary Variant反馈必须关联Variant和Release。八十七、测试十删除传播敏感内容删除后受影响Case按政策退休或重发版本。八十八、上线策略阶段1 只采集Trace和反馈 阶段2 自动生成Failure Candidate 阶段3 人工Replay和标注 阶段4 Dataset自动触发评测 阶段5 低风险修复自动进入Canary 高风险始终需要人工批准八十九、组织职责产品反馈UI与体验指标 AI工程Replay与修复 领域专家真值 知识运营知识缺口 安全合规权限和保留 平台工程Trace、Outbox、Dataset和CI九十、闭环治理会议定期审查Top Failure Clusters-P0/P1-知识缺口-回归-标注一致率-数据偏差-Canary-成本-奖励黑客。不是只看点赞排行榜。九十一、本篇完整链路用户请求 ↓ Response IDSpring AI Trace ↓ 显式/隐式/业务/自动信号 ↓ OutboxKafkaInbox ↓ Failure Candidate ↓ Replay Package ↓ 第一分叉 ↓ 专家标注仲裁 ↓ 脱敏Evaluation Case ↓ Dataset Version ↓ Baseline/Candidate评测 ↓ GitHub Quality Gate ↓ Shadow ↓ Canary ↓ 生产反馈继续回流九十二、上线检查清单□ 每个回答有不可变Response ID □ Spring AI组件Trace可关联 □ Runtime Manifest完整 □ Prompt和Completion默认不写普通日志 □ 敏感内容分层存储 □ 显式、隐式、业务和专家信号分开 □ 反馈事件幂等并支持修改 □ Outbox与业务事务一致 □ 消费者使用Inbox □ 弱信号只生成候选 □ Candidate按风险和影响排序 □ Replay可以使用Recorded Dependencies □ 副作用工具不会真实执行 □ 可以定位第一分叉 □ 高风险由领域专家独立标注 □ 分歧样本经过仲裁 □ 生产样本脱敏后重新验证 □ Dataset冻结、版本化和有Provenance □ 事故集零容忍 □ GitHub质量门禁阻止回归 □ 影子与Canary关联Release和Variant □ 奖励黑客通过组合指标检测 □ 知识缺口和工程缺陷分别流转 □ 隐私、保留和删除贯穿全链路总结企业RAG的持续优化不能依赖人工感觉也不能把所有点踩自动喂回模型。真正可靠的数据飞轮是线上信号 可重放Trace 根因归因 专家真值 版本化数据集 自动质量门禁 渐进式发布弱信号负责发现问题Replay负责解释问题专家和业务结果负责定义正确答案Dataset负责永久防止回归。当每个生产事故都能转化为一个可执行Case每次修复都能证明目标问题改善且其他能力没有退化RAG系统才真正进入可持续优化阶段。下一篇将继续实现企业级RAG性能优化与质量治理9全链路压测、容量规划与成本优化。
