如何量化多智能体质量？open-multi-agent评测体系指南：EvalSet离线回归、在线采样与CI质量门禁

如何量化多智能体质量open-multi-agent评测体系指南EvalSet离线回归、在线采样与CI质量门禁【免费下载链接】open-multi-agentTypeScript AI agent orchestration framework with dynamic workflows. Describe the goal, not the graph: a coordinator plans the task DAG at runtime and runs it on any LLM (Claude, ChatGPT, Gemini, DeepSeek, or local models).项目地址: https://gitcode.com/gh_mirrors/op/open-multi-agentopen-multi-agent 是一款 TypeScript 多智能体编排框架内置完整的评测Evaluation体系通过 EvalSet 离线回归、在线采样和 CI 质量门禁三种方式帮你把多智能体系统感觉变差了的模糊印象变成可量化、可回归、可拦截的评测数据。 为什么多智能体系统需要量化评测多智能体系统的输出天然不稳定换了提示词、换了模型、甚至同样的一句话任务 DAG 的拆解和执行路径都可能不同。open-multi-agent 没有跨提供商的随机种子seed约定因此官方不建议追求单次可复现而是推荐用repeats多次采样、对比聚合统计。这里还要先区分两套容易混淆的机制运行时验证runConsensus()/ 任务verify评测Evaluation时机一次业务运行过程中离线批量或线上运行结束后异步会改变业务结果吗会可接受、修正或拒绝不会只观察度量对象单次结果用例集、版本、回归与趋势两者可以组合使用验证守护单次运行EvalSet 则能长期追踪验证通过率的变化。 评测体系总览三根支柱EvalSet 离线回归把测试用例固化成版本化的 EvalSet对目标系统批量打分产出EvalRunReport报告在线采样在生产流量中按比例或规则抽取运行异步打分入库绝不打断业务响应CI 质量门禁用GatePolicy阈值 基线回归检查把报告直接变成流水线里的红绿灯。评测子路径为open-multi-agent/core/eval完整设计文档见 docs/evaluation.md核心实现位于 packages/core/src/eval/。一、EvalSet 离线回归5 分钟跑通第一次评测离线评测由四个概念组成各承担一个职责EvalSet版本化的用例集。defineEvalSet()要求名称、版本、用例 ID 唯一用例可打标签tags以便按filterTags选取子集。内容一变就升versionScorer评分器对单次输出打分分数必须是 0~1 的有限数pass可选留给门禁使用自己的阈值。用defineScorer()定义并冻结Target目标被评测的系统。一个 async 函数即可也可以直接用便捷目标targetFromAgent()/targetFromTeam()/targetFromPlan()把现成的 agent、团队或固定计划变成评测目标RunnerrunEvalSet()负责调度。每条用例 × 重复样本跑一次样本之间按concurrency并行默认 2中途中断会返回aborted: true的部分报告。跑完后报告EvalRunReport提供每个评分器的avg、p50、p95、min、passRate以及按标签聚合的byTag百分位采用最近秩法样本少时行为可预期。⚠️一条重要规则评分器失败 ≠ 零分。评分器抛错、拒绝或超时说明质量没有被测量报告会把该样本记为scorer_error并从所有分母中剔除目标本身抛错则记为target_error。千万不要用{ score: 0 }顶替失败否则会污染你的质量指标。一个无需 API Key 即可运行的完整示例双目标对比 规则评分器 评审评分器 门禁在 eval-offline-regression.ts直接npx tsx即可跑。二、内置参考评分器与模型评审Judge框架自带一组小而明确的参考评分器覆盖多智能体 DAG 的结构性指标均来自 packages/core/src/eval/scorers/评分器衡量什么toolCallSuccessScorer()工具调用成功比例structuredOutputComplianceScorer(schema?)结构化输出存在且通过 Zod 校验costBudgetScorer({ maxTokens?, maxCostAmount? })是否在 token / 金额预算内硬门槛dependencyUtilizationScorer()带依赖任务链的完成率保守代理指标duplicateWorkScorer()智能体之间重复劳动的比例noProgressScorer()连续空转轮次是否超限createAnswerRelevancyScorer()答案与问题的相关度评审打分均值其中依赖利用率、无进展两个指标基于 trace 的结构化事实计算重复劳动则从内存结果读输出隐私友好。语义类质量交给模型评审createJudgeScorer()支持配置多个评审模型、quorum 通过规则、超时与自定义判定 Schema。注意评审会把被评测输出发送给评审模型——涉及敏感数据时这是必须做隐私决策的一步。评审提示词、模型、配置只要变化就要升评分器version否则基线回归比较会因不可比而跳过。三、在线采样在生产流量中顺手打分离线回归覆盖的是你想到的用例而线上真实流量往往更刁钻。open-multi-agent 的在线评测是可选开启的在OpenMultiAgent配置里加上evaluation即可。它的几个关键特性决定了线上安全零侵入运行结束后只做一次同步的采样决策和入队判断评分与写库全部异步执行runAgent()、runTeam()等所有入口共用同一个评估器采样策略灵活数值采样如sample: 0.05抽 5%或规则函数按状态和元数据挑选——例如只评测金丝雀环境里失败的运行资源有界maxConcurrent、maxQueueLength限制队列budget.maxEvaluationsPerMinute限每分钟评分次数maxCostPerHour限评审成本隐私默认安全storePayloads默认none不存输入输出快照redacted存脱敏截断副本full是显式隐私决策性能可忽略官方基准中采样 入队判断的 p95 约 0.42 微秒生命周期由你掌控进程退出前调用forceFlush()等待已接纳样本、shutdown()原子停止所有定时器不阻止进程退出。存储侧提供InMemoryEvalStore短生命周期、测试用和 Node 专用 FileEvalStore追加式 NDJSON、按批原子提交、支持压缩。在线采样示例见 eval-online-sampling.ts。四、CI 质量门禁把报告变成流水线红绿灯 evaluateGate()是纯逻辑函数输入报告 GatePolicy输出只有三样pass、failures、warnings。策略支持阈值检查按评分器指定avg/p50/p95/min/passRate可叠加tag作用域例如critical 用例 p50 ≥ 0.85健康检查maxScorerErrorRate默认 10% 报错意味着评测设施本身不可信与maxTargetErrorRate基线回归把上一版通过的 JSON 报告作为 baseline限制maxRegression与逐评分器回退幅度。评分器版本不一致时会警告并跳过该评分器的回归比较——避免换了裁判比成绩的假回归。官方推荐的基线工作流是四步运行并导出report.json→ 审查后提交为evals/baseline.json连同版本化 EvalSet 与门禁策略→ CI 中用--baseline对比 →只有人工确认行为变化后才更新基线CLI 从不自动改写它。命令行入口在 docs/cli.mdoma eval run --set ./evals/set.json --target ./evals/target.mjs \ --gate ./evals/gate.json --baseline ./evals/baseline.json \ --report json --report junit --out ./eval-results oma eval gate --report ./candidate/report.json --gate ./evals/gate.json门禁未过或目标全部失败时退出码为 1文件/参数错误为 2——正好对接 CI 的步骤状态判定结果同时写入verdict.json供下游消费。报告支持 JSON权威格式、Markdown人工审查与 JUnitCI 展示失败明细三种格式可直接当构建产物上传。框架自身的 routing-stability-set.json 就是活案例用冻结的用例集验证换语言、换提示词长度任务拓扑是否漂移配合 routing-stability-gate.json 把治理类路由锁定为 0 翻转。五、关键文件速查评测设计文档docs/evaluation.md评测子路径源码packages/core/src/eval/runner.ts、gate.ts、online.ts、judge.ts离线回归示例免 Keyeval-offline-regression.ts在线采样示例eval-online-sampling.ts基线与门禁策略示例baseline.json、gate.jsonCLI 参考docs/cli.md❓ 常见问题评分器报错应该记 0 分吗不要。scorer_error表示没测到会被排除在所有分母之外由门禁的健康上限maxScorerErrorRate决定这次评测是否可信。在线评测会拖慢业务响应吗不会。运行结束后只发生一次采样判断和入队评分与持久化尽力而为、与业务结果完全隔离。宿主必须在退出前等待样本时显式调用forceFlush()。用targetFromPlan()能让评测完全确定吗它冻结了任务图、省去协调器再拆解但模型响应仍会变化无跨提供商 seed。正确姿势是用repeats多次采样、对比分布而不是期待逐次一致。三根支柱的分工一句话总结离线回归管发布前在线采样管发布后CI 门禁管能不能合并。三者共享同一套EvalRecord数据模型从此你改一次提示词质量涨跌就有据可查。【免费下载链接】open-multi-agentTypeScript AI agent orchestration framework with dynamic workflows. Describe the goal, not the graph: a coordinator plans the task DAG at runtime and runs it on any LLM (Claude, ChatGPT, Gemini, DeepSeek, or local models).项目地址: https://gitcode.com/gh_mirrors/op/open-multi-agent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考