微服务效果评估不能只听感受效果评估应结合可复现指标、对照组和业务反馈避免把一次观察写成确定结论。在 Java 微服务中接入 LangChain4j 或 Spring AI 后人工试问几条问题只能发现明显体验问题无法说明检索、上下文组装和外部依赖在版本变化后仍一致。模型输出有波动向量库与远端模型也引入网络和版本条件因此评估材料必须能重放。测试可以按失败位置分层局部代码、检索组件、完整服务链路和容量故障分别回答不同问题。人工反馈继续保留但要关联问题、检索结果、版本与判定理由不能只留下一个总分。单元测试层切断外部模型依赖聚焦 Prompt 组装与结果解析单元测试应隔离远端模型和向量库聚焦 Prompt 参数、截断规则、状态转换与结果解析。执行时间目标由项目测试规模决定不必套用通用毫秒阈值关键是它可重复并且网络不可用时仍能运行。若测试直接连接VectorStore它已经在验证组件协作更适合放入集成层。单元层使用固定返回值并覆盖空召回、超长上下文、错误结构和取消路径。Token 截断不能只断言一个布尔值还要确认文档边界、引用关系和问题本身没有被截掉。下面的代码演示依赖隔离和截断标志。重复长度、预算与返回值只是样例contains(内容A)不能证明最终 Prompt 满足完整顺序与长度约束项目中应增加更具体断言。ExtendWith(MockitoExtension.class) class RAGPromptBuilderTest { Mock private TokenCalculator tokenCalculator; InjectMocks private KnowledgeContextComposer composer; Test void shouldTruncateContextWhenExceedingTokenLimit() { // Given: 模拟超长召回文档 ListDocument rawDocs List.of( new Document(内容A.repeat(500)), new Document(内容B.repeat(500)) ); Mockito.when(tokenCalculator.calculate(anyString())).thenReturn(1200); // When: 编排上下文 PromptContext result composer.compose(rawDocs, 用户提问, 1000); // Then: 验证硬截断逻辑防止超 Token 触发 API 报错 assertThat(result.getFinalPrompt()).contains(内容A); assertThat(result.isTruncated()).isTrue(); Mockito.verify(tokenCalculator, Mockito.atLeastOnce()).calculate(anyString()); } }集成测试层Testcontainers 结合真实向量库量化检索召回率集成测试连接真实的数据库协议和索引配置用来验证写入、查询、过滤与排序契约。Embedding 模型、向量维度、距离度量和索引版本要固定否则一次差异无法归因。可以用Testcontainers启动 Qdrant 或 Milvus并加载来源清楚的固定测试集。预期文档要由了解知识内容的人确认不能用待评估系统自己生成 Ground Truth。SpringBootTest Testcontainers class VectorSearchIntegrationTest { Container static QdrantContainer qdrant new QdrantContainer(qdrant/qdrant:v1.7.4); Autowired private KnowledgeRetrievalService retrievalService; Test void evaluateRetrievalAccuracy() { ListTestCase testCases loadBaselineSet(); assertFalse(testCases.isEmpty(), 基线测试集不能为空); int hitCount 0; for (TestCase tc : testCases) { ListDocument docs retrievalService.search(tc.getQuestion(), 5); boolean matched docs.stream().anyMatch(d - d.getId().equals(tc.getExpectedDocId())); if (matched) hitCount; } double hitRate (double) hitCount / testCases.size(); System.out.printf(Current Retrieval Hit5 Rate: %.2f%%\n, hitRate * 100); double minimumHitRate loadReviewedMinimumHitRate(); assertTrue(hitRate minimumHitRate, 检索命中率低于已评审基线); } }端到端测试层同时保留规则、人工与模型评审微服务返回 HTTP 200只说明接口成功响应。还要检查答案是否引用了允许的上下文、没有越权内容并在资料不足时按产品约定拒答。能够规则判断的字段和引用先用确定性断言开放文本再抽样人工评审。评估模型可以提供辅助评分但它同样会受提示、模型版本和输入顺序影响不能作为唯一裁决。若使用保存评估 Prompt、模型版本和原始理由并用一批人工标注样本校准。常见观察包括回答中的主张能否回到检索内容以及回答是否响应原问题。下方 E2E 示例保留了评估模型调用代码里的问题、路径和分数均是演示值。真实门禁应从本项目基线与人工判定建立阈值并为评估服务不可用准备明确状态。SpringBootTest(webEnvironment SpringBootTest.WebEnvironment.RANDOM_PORT) class RAGEndToEndE2ETest { Autowired private TestRestTemplate restTemplate; Autowired private JudgeModelClient judgeClient; Test void verifyNoHallucinationInProductionFlow() { RAGRequest request new RAGRequest(退款政策中的超时处理时限是多久); ResponseEntityRAGResponse response restTemplate.postForEntity(/api/v1/chat, request, RAGResponse.class); assertThat(response.getStatusCode()).isEqualTo(HttpStatus.OK); RAGResponse body response.getBody(); // 调用评估模型对上下文与最终回答做交叉审计 EvaluationResult eval judgeClient.evaluate( body.getRetrievedContext(), request.getQuestion(), body.getAnswer() ); // 忠实度得分 0~1 assertThat(eval.getFaithfulnessScore()) .as(模型产生了上下文之外的严重幻觉) .isGreaterThanOrEqualTo(0.80); } }压测与故障注入观察隔离和背压上游模型延迟增加时同步等待会占用调用方线程、连接与队列。具体影响取决于 Web 容器、Feign 配置和隔离方式不能只凭“使用 Spring Cloud”推断线程池一定耗尽。故障注入可逐步增加受控延迟并覆盖超时、连接拒绝和部分响应。使用 Resilience4j bulkhead 时观察活动任务、排队、拒绝与资源释放。降级结果必须符合业务语义知识不足时可以明确失败或转人工不能为了“友好”返回未经依据的答案。自动化质量防线检查项接入 Pipeline 后先固定测试集、模型、索引和判定口径。提交阶段运行隔离单测与关键契约候选发布运行向量库集成与少量端到端场景周期任务再覆盖较完整评估和故障注入。执行频率根据成本与反馈时效安排。召回率、忠实度或延迟门槛都应来自当前基线和业务后果。指标变化时保留差异样本而不是只阻断构建负责人需要判断是数据、Embedding、检索策略、Prompt 还是评估器改变。这样“微服务效果”才落到可复验链路而不是换成另一组看似客观的分数。
微服务效果评估不能只听感受效果评估应结合可复现指标、对照组和业务反馈避免把一次观察写成确定结论。在 Java 微服务中接入 LangChain4j 或 Spring AI 后人工试问几条问题只能发现明显体验问题无法说明检索、上下文组装和外部依赖在版本变化后仍一致。模型输出有波动向量库与远端模型也引入网络和版本条件因此评估材料必须能重放。测试可以按失败位置分层局部代码、检索组件、完整服务链路和容量故障分别回答不同问题。人工反馈继续保留但要关联问题、检索结果、版本与判定理由不能只留下一个总分。单元测试层切断外部模型依赖聚焦 Prompt 组装与结果解析单元测试应隔离远端模型和向量库聚焦 Prompt 参数、截断规则、状态转换与结果解析。执行时间目标由项目测试规模决定不必套用通用毫秒阈值关键是它可重复并且网络不可用时仍能运行。若测试直接连接VectorStore它已经在验证组件协作更适合放入集成层。单元层使用固定返回值并覆盖空召回、超长上下文、错误结构和取消路径。Token 截断不能只断言一个布尔值还要确认文档边界、引用关系和问题本身没有被截掉。下面的代码演示依赖隔离和截断标志。重复长度、预算与返回值只是样例contains(内容A)不能证明最终 Prompt 满足完整顺序与长度约束项目中应增加更具体断言。ExtendWith(MockitoExtension.class) class RAGPromptBuilderTest { Mock private TokenCalculator tokenCalculator; InjectMocks private KnowledgeContextComposer composer; Test void shouldTruncateContextWhenExceedingTokenLimit() { // Given: 模拟超长召回文档 ListDocument rawDocs List.of( new Document(内容A.repeat(500)), new Document(内容B.repeat(500)) ); Mockito.when(tokenCalculator.calculate(anyString())).thenReturn(1200); // When: 编排上下文 PromptContext result composer.compose(rawDocs, 用户提问, 1000); // Then: 验证硬截断逻辑防止超 Token 触发 API 报错 assertThat(result.getFinalPrompt()).contains(内容A); assertThat(result.isTruncated()).isTrue(); Mockito.verify(tokenCalculator, Mockito.atLeastOnce()).calculate(anyString()); } }集成测试层Testcontainers 结合真实向量库量化检索召回率集成测试连接真实的数据库协议和索引配置用来验证写入、查询、过滤与排序契约。Embedding 模型、向量维度、距离度量和索引版本要固定否则一次差异无法归因。可以用Testcontainers启动 Qdrant 或 Milvus并加载来源清楚的固定测试集。预期文档要由了解知识内容的人确认不能用待评估系统自己生成 Ground Truth。SpringBootTest Testcontainers class VectorSearchIntegrationTest { Container static QdrantContainer qdrant new QdrantContainer(qdrant/qdrant:v1.7.4); Autowired private KnowledgeRetrievalService retrievalService; Test void evaluateRetrievalAccuracy() { ListTestCase testCases loadBaselineSet(); assertFalse(testCases.isEmpty(), 基线测试集不能为空); int hitCount 0; for (TestCase tc : testCases) { ListDocument docs retrievalService.search(tc.getQuestion(), 5); boolean matched docs.stream().anyMatch(d - d.getId().equals(tc.getExpectedDocId())); if (matched) hitCount; } double hitRate (double) hitCount / testCases.size(); System.out.printf(Current Retrieval Hit5 Rate: %.2f%%\n, hitRate * 100); double minimumHitRate loadReviewedMinimumHitRate(); assertTrue(hitRate minimumHitRate, 检索命中率低于已评审基线); } }端到端测试层同时保留规则、人工与模型评审微服务返回 HTTP 200只说明接口成功响应。还要检查答案是否引用了允许的上下文、没有越权内容并在资料不足时按产品约定拒答。能够规则判断的字段和引用先用确定性断言开放文本再抽样人工评审。评估模型可以提供辅助评分但它同样会受提示、模型版本和输入顺序影响不能作为唯一裁决。若使用保存评估 Prompt、模型版本和原始理由并用一批人工标注样本校准。常见观察包括回答中的主张能否回到检索内容以及回答是否响应原问题。下方 E2E 示例保留了评估模型调用代码里的问题、路径和分数均是演示值。真实门禁应从本项目基线与人工判定建立阈值并为评估服务不可用准备明确状态。SpringBootTest(webEnvironment SpringBootTest.WebEnvironment.RANDOM_PORT) class RAGEndToEndE2ETest { Autowired private TestRestTemplate restTemplate; Autowired private JudgeModelClient judgeClient; Test void verifyNoHallucinationInProductionFlow() { RAGRequest request new RAGRequest(退款政策中的超时处理时限是多久); ResponseEntityRAGResponse response restTemplate.postForEntity(/api/v1/chat, request, RAGResponse.class); assertThat(response.getStatusCode()).isEqualTo(HttpStatus.OK); RAGResponse body response.getBody(); // 调用评估模型对上下文与最终回答做交叉审计 EvaluationResult eval judgeClient.evaluate( body.getRetrievedContext(), request.getQuestion(), body.getAnswer() ); // 忠实度得分 0~1 assertThat(eval.getFaithfulnessScore()) .as(模型产生了上下文之外的严重幻觉) .isGreaterThanOrEqualTo(0.80); } }压测与故障注入观察隔离和背压上游模型延迟增加时同步等待会占用调用方线程、连接与队列。具体影响取决于 Web 容器、Feign 配置和隔离方式不能只凭“使用 Spring Cloud”推断线程池一定耗尽。故障注入可逐步增加受控延迟并覆盖超时、连接拒绝和部分响应。使用 Resilience4j bulkhead 时观察活动任务、排队、拒绝与资源释放。降级结果必须符合业务语义知识不足时可以明确失败或转人工不能为了“友好”返回未经依据的答案。自动化质量防线检查项接入 Pipeline 后先固定测试集、模型、索引和判定口径。提交阶段运行隔离单测与关键契约候选发布运行向量库集成与少量端到端场景周期任务再覆盖较完整评估和故障注入。执行频率根据成本与反馈时效安排。召回率、忠实度或延迟门槛都应来自当前基线和业务后果。指标变化时保留差异样本而不是只阻断构建负责人需要判断是数据、Embedding、检索策略、Prompt 还是评估器改变。这样“微服务效果”才落到可复验链路而不是换成另一组看似客观的分数。
