Switchyard Token用量统计指南prompt、completion、cached、reasoning四类指标详解【免费下载链接】SwitchyardSwitchyard lets LLM applications route traffic across models and providers while preserving native OpenAI and Anthropic API compatibility - enabling flexible model selection, benchmarking, and cost/performance optimization.项目地址: https://gitcode.com/GitHub_Trending/switch/SwitchyardSwitchyard是一个让 LLM 应用跨模型、跨服务商路由流量的开源路由网关在保持 OpenAI 与 Anthropic 原生 API 兼容的同时把每次请求的Token 用量统计统一汇总。它把各家服务商五花八门的 usage 字段归一化为 prompt、completion、cached、reasoning 四类核心指标并通过GET /v1/statsJSON和GET /metricsPrometheus两种端点实时输出帮你快速算清每个模型的 token 账单与缓存命中率。Token用量是怎么被记录的每一次被路由到后端的调用Switchyard 都会在响应结束时做一件事观测 usage不动内容。聚合一次性响应直接从响应的 usage 字段记账流式响应包装一层异步流持续跟踪最后一条Usage事件并在收到终止事件如message_stop后立即落账——即使客户端收到结束事件就断开连接用量也不会丢。这套观测逻辑在 crates/switchyard-server/src/usage_metrics.rs 中实现配套的归一化Usage结构定义在 crates/protocol/src/llm.rs 里。 细节各提供商对缓存 token 的口径不一致有的包含、有的不包含在 input_tokens 中Switchyard 的协议层会先做归一化保证统计口径统一。四类核心指标一览prompt、completion、cached、reasoning指标含义归一化口径prompt_tokens提示词 token 总量input_tokens cached_input_tokens cache_creation_input_tokenscompletion_tokens模型生成的输出 tokenoutput_tokens若提供商单独报告不含推理部分cached_tokens命中缓存读回的输入 tokencached_input_tokens直接影响账单折扣reasoning_tokens推理/思考 tokenreasoning_tokens思考类模型单独上报其中prompt_tokens的计算逻辑可直接在 usage_metrics.rs 的token_usage函数中看到它把非缓存输入、缓存读回、缓存创建三部分相加避免“缓存 token 被漏计或重复计”。 额外还有两个衍生字段cache_creation_tokens写入缓存的 token 数缓存“建账”成本cacheable_prompt_tokens理论可缓存的 prompt token 数用于计算理论缓存命中率。查看方式一/v1/stats JSON 统计端点向运行中的服务发起GET /v1/stats即可拿到进程级的 JSON 快照结构由 crates/switchyard-server/src/stats/accumulator.rs 定义顶层total_tokensprompt、completion、cached、cache_creation、reasoning五项全局合计外加total prompt completion每个模型一个条目四类 token 累计值、avg_prompt_tokens/avg_completion_tokens单次均值、token_pcttoken 占比以及现成算好的cache_hit_rate cached ÷ prompt与theoretical_cache_hit_rate分类器/judge 调用的用量单独放在classifier块中与主路由流量分开核算。需要清零重新统计时POST /v1/stats/reset即可。新手最常关心的两个问题这个模型实际花了多少 token→ 看total_tokens prompt_tokens completion_tokens缓存省了多少钱→cache_hit_rate越高说明命中折扣价的缓存读回比例越大reasoning 模型还需另看reasoning_tokens评估思考成本。查看方式二Prometheus 指标接入如果已有监控栈Switchyard 在GET /metrics暴露 Prometheus 文本格式四个 token 计数器分别带model标签即配置的端点 id如openai/gpt-5.5Prometheus 指标对应 JSON 字段switchyard_prompt_tokens_total{model}prompt_tokensswitchyard_completion_tokens_total{model}completion_tokensswitchyard_cached_tokens_total{model}cached_tokensswitchyard_reasoning_tokens_total{model}reasoning_tokens仓库已附带开箱即用的抓取配置与告警规则抓取配置examples/prometheus/prometheus.yml告警规则examples/prometheus/switchyard.rules.yaml完整指标字典docs/internal/metrics_reference.md把scrape_configs合并进现有 Prometheus 配置后一条 PromQL 就能看清每个端点的流量与 token 占比sum by (model) (rate(switchyard_requests_total[5m])) / ignoring(model) group_left sum(rate(switchyard_requests_total[5m]))小结你想做的事用哪个端点快速看账单、算缓存命中率GET /v1/stats做面板、告警、趋势分析GET /metrics Prometheus了解全部指标语义与标签docs/internal/metrics_reference.mdSwitchyard 把“各提供商口径混乱”这件事封装在了协议层你只需面向四类指标做成本核算与优化关注prompt/completion算总量用cached验证缓存省钱效果用reasoning给思考型模型单独计费。【免费下载链接】SwitchyardSwitchyard lets LLM applications route traffic across models and providers while preserving native OpenAI and Anthropic API compatibility - enabling flexible model selection, benchmarking, and cost/performance optimization.项目地址: https://gitcode.com/GitHub_Trending/switch/Switchyard创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Switchyard Token用量统计指南prompt、completion、cached、reasoning四类指标详解【免费下载链接】SwitchyardSwitchyard lets LLM applications route traffic across models and providers while preserving native OpenAI and Anthropic API compatibility - enabling flexible model selection, benchmarking, and cost/performance optimization.项目地址: https://gitcode.com/GitHub_Trending/switch/SwitchyardSwitchyard是一个让 LLM 应用跨模型、跨服务商路由流量的开源路由网关在保持 OpenAI 与 Anthropic 原生 API 兼容的同时把每次请求的Token 用量统计统一汇总。它把各家服务商五花八门的 usage 字段归一化为 prompt、completion、cached、reasoning 四类核心指标并通过GET /v1/statsJSON和GET /metricsPrometheus两种端点实时输出帮你快速算清每个模型的 token 账单与缓存命中率。Token用量是怎么被记录的每一次被路由到后端的调用Switchyard 都会在响应结束时做一件事观测 usage不动内容。聚合一次性响应直接从响应的 usage 字段记账流式响应包装一层异步流持续跟踪最后一条Usage事件并在收到终止事件如message_stop后立即落账——即使客户端收到结束事件就断开连接用量也不会丢。这套观测逻辑在 crates/switchyard-server/src/usage_metrics.rs 中实现配套的归一化Usage结构定义在 crates/protocol/src/llm.rs 里。 细节各提供商对缓存 token 的口径不一致有的包含、有的不包含在 input_tokens 中Switchyard 的协议层会先做归一化保证统计口径统一。四类核心指标一览prompt、completion、cached、reasoning指标含义归一化口径prompt_tokens提示词 token 总量input_tokens cached_input_tokens cache_creation_input_tokenscompletion_tokens模型生成的输出 tokenoutput_tokens若提供商单独报告不含推理部分cached_tokens命中缓存读回的输入 tokencached_input_tokens直接影响账单折扣reasoning_tokens推理/思考 tokenreasoning_tokens思考类模型单独上报其中prompt_tokens的计算逻辑可直接在 usage_metrics.rs 的token_usage函数中看到它把非缓存输入、缓存读回、缓存创建三部分相加避免“缓存 token 被漏计或重复计”。 额外还有两个衍生字段cache_creation_tokens写入缓存的 token 数缓存“建账”成本cacheable_prompt_tokens理论可缓存的 prompt token 数用于计算理论缓存命中率。查看方式一/v1/stats JSON 统计端点向运行中的服务发起GET /v1/stats即可拿到进程级的 JSON 快照结构由 crates/switchyard-server/src/stats/accumulator.rs 定义顶层total_tokensprompt、completion、cached、cache_creation、reasoning五项全局合计外加total prompt completion每个模型一个条目四类 token 累计值、avg_prompt_tokens/avg_completion_tokens单次均值、token_pcttoken 占比以及现成算好的cache_hit_rate cached ÷ prompt与theoretical_cache_hit_rate分类器/judge 调用的用量单独放在classifier块中与主路由流量分开核算。需要清零重新统计时POST /v1/stats/reset即可。新手最常关心的两个问题这个模型实际花了多少 token→ 看total_tokens prompt_tokens completion_tokens缓存省了多少钱→cache_hit_rate越高说明命中折扣价的缓存读回比例越大reasoning 模型还需另看reasoning_tokens评估思考成本。查看方式二Prometheus 指标接入如果已有监控栈Switchyard 在GET /metrics暴露 Prometheus 文本格式四个 token 计数器分别带model标签即配置的端点 id如openai/gpt-5.5Prometheus 指标对应 JSON 字段switchyard_prompt_tokens_total{model}prompt_tokensswitchyard_completion_tokens_total{model}completion_tokensswitchyard_cached_tokens_total{model}cached_tokensswitchyard_reasoning_tokens_total{model}reasoning_tokens仓库已附带开箱即用的抓取配置与告警规则抓取配置examples/prometheus/prometheus.yml告警规则examples/prometheus/switchyard.rules.yaml完整指标字典docs/internal/metrics_reference.md把scrape_configs合并进现有 Prometheus 配置后一条 PromQL 就能看清每个端点的流量与 token 占比sum by (model) (rate(switchyard_requests_total[5m])) / ignoring(model) group_left sum(rate(switchyard_requests_total[5m]))小结你想做的事用哪个端点快速看账单、算缓存命中率GET /v1/stats做面板、告警、趋势分析GET /metrics Prometheus了解全部指标语义与标签docs/internal/metrics_reference.mdSwitchyard 把“各提供商口径混乱”这件事封装在了协议层你只需面向四类指标做成本核算与优化关注prompt/completion算总量用cached验证缓存省钱效果用reasoning给思考型模型单独计费。【免费下载链接】SwitchyardSwitchyard lets LLM applications route traffic across models and providers while preserving native OpenAI and Anthropic API compatibility - enabling flexible model selection, benchmarking, and cost/performance optimization.项目地址: https://gitcode.com/GitHub_Trending/switch/Switchyard创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
