【MAI Gateway｜魔芋企业AI网关】我们把 Token 成本从黑箱解放的全过程

云时代有 FinOpsAI 时代需要 FinAPI。本文记录一家企业从月底才知道花了多少钱到每一枚 Token 都有归属的成本治理实践。MaiGateway-企业级大模型API网关|多模型统一调度与AI流量治理平台MaiGateway企业级LLM API网关统一兼容国内外大模型提供智能路由、密钥管控、限流熔断、Token计费、数据脱敏、全链路审计私有化部署解决企业多模型接入混乱、成本失控、数据安全合规难题。https://mai.moyu.cn一、问题的起点一张看不懂的账单去年 Q3 结束后的经营分析会上我们的 CFO 提了一个问题这个季度大模型的 API 费用是 87 万比上个季度翻了三倍。谁能告诉我这 87 万具体花在了哪里会议室里没人能回答。技术说我们接了 OpenAI、Claude、通义千问好几个模型调用都是各项目组自己发起的具体哪个项目花了多少需要重新汇总。财务总监说供应商发来的账单只有总金额和 Token 数没有按部门或项目拆分的明细。我们能对上的只有总额对不上明细。我当时的角色是 IT 运维负责人也是这件事的直接背锅人。那次会议后我被要求在一个月内拿出一个 AI 成本治理方案。这篇文章记录的就是这个方案的落地过程。二、为什么传统的成本管理方式全部失效在动手之前我先分析了为什么现有的成本管理手段在大模型场景下全部失效。2.1 传统 IT 资产的成本逻辑传统 IT 资产的成本是前置型的你买服务器、买云主机、买软件 License都是先预算、再采购、再使用。成本发生在采购环节使用环节不产生额外费用。一个员工每天打开 ERP 系统一百次不会多花一分钱。2.2 大模型成本是后置型的大模型的成本逻辑完全不同——每一次调用都在实时产生费用而且费用跟使用方式强相关选了贵的模型 vs 便宜的模型费用差几倍甚至几十倍上下文越长输入 Token 越多费用越高Agent 循环重试一次就多一次完整的 Token 消耗流式输出和批量调用的计费方式不同这意味着大模型成本不是采购环节能管控的它发生在使用环节的每一次请求中。2.3 现有管理手段的盲区管理手段传统 IT 场景大模型场景采购审批有效买完就没有额外成本无效采购只是开始使用才是成本来源预算控制按年度/季度预算偏差可控月度波动大Agent 异常可能一夜超支费用分摊按服务器/软件 License 归属部门无法归属Token 消耗没有部门标记账单核对供应商账单 vs 内部资产清单供应商账单只有总额无明细可对报销审批员工提交报销逐笔审核海外 API 账单无发票报销流程走不通说白了大模型成本管理面临三个核心难题看不见、分不清、控不住。三、FinAPI一个我觉得值得认真对待的框架在调研过程中我接触到了魔芋 AI 提出的FinAPI概念自称是大模型时代的FinOps说实话看了它的三阶段框架后发现它的逻辑是自洽的——而且正好对应了我们企业遇到的问题。FinAPI 把企业 AI 成本治理分为三个阶段第一阶段统一管理 → 解决看不见第二阶段成本审计 → 解决分不清第三阶段成本优化 → 解决控不住这不是三个独立的功能而是一个递进的过程。没有第一阶段的基础第二阶段的审计无从谈起没有第二阶段的数据第三阶段的优化就是盲目的。下面说说我们在这三个阶段分别做了什么。四、第一阶段统一管理——先让所有调用可见4.1 问题我们公司有 5 个业务部门在用大模型接入了 6 个不同的模型供应商。每个部门自己注册 API Key、自己写调用代码、自己处理付款。有的用公司信用卡刷海外 API有的个人垫付再报销有的走了第三方代购。结果是IT 不知道全公司一共用了哪些模型财务不知道总共花了多少钱管理层不知道哪些部门在用 AI。4.2 做了什么核心动作就一个所有大模型调用收口到统一网关。我们部署了 MAI Gateway把所有供应商的 API Key 录入网关后台然后给每个部门分配了网关令牌。所有业务代码的模型调用地址统一指向网关。改造前后对比改造前市场部 → 自己的 OpenAI Key → OpenAI API研发部 → 自己的 Claude Key → Anthropic API客服部 → 自己的通义 Key → 阿里云 API各自为政无人知晓全局改造后市场部 → 网关令牌A ─┐研发部 → 网关令牌B ─┼→ MAI Gateway → 各供应商 API客服部 → 网关令牌C ─┘统一入口全局可见4.3 效果收口完成后我们第一次看到了全公司的模型调用全貌总共接入了 6 个模型供应商12 个模型月均调用 320 万次消耗 Token 约 1.8 亿调用量最大的部门是客服部占 45%但单次成本最低调用量排第三的研发部费用却占了 38%——因为他们主要用 Claude单价高这个数据以前完全没人知道。第一阶段的关键不是省钱而是建立可见性。你得先看见才能管理。五、第二阶段成本审计——让每一笔费用分得清5.1 问题统一入口后我们能看到总量了。但 CFO 的问题还没回答完87 万里面哪些是合理支出哪些是异常浪费我们发现了几类成本黑洞主要是Agent 循环调用和无效上下文造成的。5.2 做了什么第一步建立预算体系在网关里按部门、项目、令牌设置了月度预算。每个部门有总额上限每个项目有独立预算。预算配置示例客服部月度预算¥80,000├── 工单分类项目¥30,000令牌级配额RPM 500, TPM 100k├── 智能问答项目¥40,000└── 人工辅助项目¥10,000研发部月度预算¥120,000├── 代码助手项目¥90,000└── 代码审查项目¥30,000第二步设置预警和熔断预算用到 80% 时自动通知部门负责人飞书/邮件预算用到 95% 时自动通知部门负责人 IT 运维预算用到 100% 时自动熔断停止该令牌的调用那个有 Bug 的工单分类 Agent在配置熔断后的第二个月在凌晨 3 点触发了熔断。以前这种情况会一直跑到月底才被发现现在在 30 分钟内就被拦住了。第三步费用归因网关自动把每次调用的费用归属到具体部门、项目、用户和令牌。月底生成的账单长这样2024年10月 费用明细部门客服部项目工单分类令牌agent-ticket-sort模型通义千问-Qwen-Max调用次数48,231输入Token12,340,221输出Token3,456,789费用¥18,234.50项目智能问答令牌agent-faq模型DeepSeek-V3调用次数156,782...部门小计¥76,234.12第四步账单核对每月拿网关生成的内部账单跟供应商发来的 API 账单做交叉核对。以前这笔账根本对不上现在有了明细数据核对变得可行了。我们发现了一个问题某供应商的账单比我们内部记录多了 8%。排查后发现是该供应商的计费口径包含了系统 prompt 的 Token而我们的网关只统计了用户输入部分。调整口径后两边数据基本吻合。5.3 效果第二阶段结束后CFO 在经营分析会上终于拿到了能看的账单每个部门花了多少钱清清楚楚每个项目的 ROI 可以估算费用 vs 业务产出异常消耗能在当天发现不用等月底供应商账单可以交叉核对不怕多收六、第三阶段成本优化——不只是省钱是花得更值6.1 降本手段有了前两个阶段的数据基础我们开始做主动降本。手段 1智能路由——让简单任务用便宜模型根据网关的统计数据我们发现 60% 的请求其实是简单任务FAQ 问答、基础信息提取、格式转换但都在用高端模型。配置了智能路由规则后任务类型原来的模型调整后的模型单次成本变化FAQ 问答GPT-4oDeepSeek-V3自建¥0.06 → ¥0.003工单分类Qwen-MaxQwen-Plus¥0.04 → ¥0.008文案生成GPT-4o通义千问-Max¥0.06 → ¥0.02代码生成Claude 3.5Claude 3.5不变不变简单任务切到低成本模型后整体 API 费用降了约 40%。手段 2语义缓存对于重复性高的 FAQ 场景开启了语义缓存。命中率约 22%即每 5 个请求有 1 个从缓存直接返回不消耗 Token。手段 3上下文压缩研发部的代码助手做了上下文优化——不再每次发送整个项目文件而是只发送当前函数和相关引用。输入 Token 降了约 60%效果几乎不受影响。手段 4异常调用治理通过审计日志我们发现有几个长期运行的 Agent 存在空转现象——没有实际任务时也在定期调用模型。调整了触发逻辑后这部分无效消耗清零。6.2 效果数据经过三个月的持续优化我们的 AI 成本变化Q3治理前月均 ¥87万Q4第一阶段第二阶段月均 ¥72万-17%主要是异常消耗治理Q1第三阶段优化后月均 ¥48万-45%主要是智能路由缓存上下文优化从 87 万降到 48 万降幅约 45%。其中智能路由贡献最大约 25 个百分点异常治理约 12 个百分点缓存和上下文优化约 8 个百分点。需要说明的是这个降幅跟我们的业务结构有关——我们有大量简单任务可以用低成本模型替代。如果你的业务以复杂推理为主降幅可能没这么大。成本节省比例不是固定指标需要在具体场景中测量。七、几点经验总结走完这三个阶段有几点经验想分享7.1 顺序很重要不要跳过前两个阶段直接做降本。没有统一入口就看不到全貌没有审计数据就不知道哪里在浪费。我见过有公司一上来就想做智能路由省钱但连自己用了多少模型、哪些项目在调用都不知道路由规则根本无从配起。7.2 预算管控要刚性预警和熔断必须是自动执行的不能靠人工判断。人在凌晨 3 点不会去看告警但熔断机制会自动切断异常调用。我们设的规则是到 95% 自动通知到 100% 自动熔断没有例外。7.3 降本不等于降质降本的核心不是用便宜模型替代贵的而是让每个任务用合适的模型。简单任务用便宜模型不影响效果但如果把复杂推理也切到便宜模型可能会影响业务质量。一定要做 A/B 测试确认效果可接受再切换。7.4 成本管理是持续过程不是配一次规则就结束了。每个月都要复盘哪些项目费用异常哪些模型利用率低有没有新的异常模式成本优化是一个持续迭代的过程。7.5 财务合规不能忽视我们之前用海外 API 最大的问题之一是没有发票报销流程走不通。统一走网关后由网关供应商统一用人民币结算、提供增值税发票财务那边终于不用为几十美金的海外账单怎么入账发愁了。这个问题看似小但对财务内控来说很重要。八、写在最后云时代有 FinOpsAI 时代需要 FinAPI。这不是概念游戏而是实实在在的管理需求。当 AI 从少数人的工具变成全员的生产力时Token 消耗就像水龙头里的水——你不装水表、不设阀门它就会一直流流到月底你才发现账单吓人。FinAPI 的三阶段框架——统一管理、成本审计、成本优化——给了我们一个清晰的路径。而 MAI Gateway 是承载这个框架的工程工具。最终的效果是CFO 的问题有了答案每一笔 AI 费用都知道花在了哪里、是否合理、能否优化。这可能是 AI 从技术创新走向经营能力的关键一步。联系我们获取产品试用本文为实际项目经验分享数据已做脱敏处理。不同企业的业务结构和成本基线不同具体降幅因场景而异。