1. Workers AI 是什么为什么值得折腾先说结论Cloudflare 推出的 Workers AI 平台本质上是一套架在全球边缘节点上的大模型推理服务。你不用自己买显卡、不用管 GPU 集群、不用运维推理服务只需要写几行代码部署到 Cloudflare Workers 上就能直接调用 Llama、Mistral、Qwen 这些开源大模型做推理。最关键的是它有一个免费额度——每天 10000 次神经元调用neuron对于个人开发者、小工具、学习项目来说基本等于白嫖。我第一次听到这个事的时候也半信半疑毕竟 OpenAI 的 API 虽然好用但价格摆在那。拿 GPT-4o mini 来说虽然已经算便宜了但如果做一个每天被频繁调用的机器人或者自动化脚本一个月下来账单照样吓人。而 Workers AI 的免费额度用完就停不会产生扣费这对预算敏感的项目简直是救命稻草。那它到底能干什么简单列几个场景给你感受一下写一个 Telegram 机器人帮你总结文章、做一个小红书文案生成器、给自己的博客加一个 AI 搜索问答、批量给商品标题做分类打标、甚至跑一个 RAG 问答系统。这些场景每天的量级通常不会超过几千次调用Workers AI 完全扛得住。什么人适合折腾这个我觉得有三类人最值得花时间第一类是独立开发者想快速验证 AI 产品的想法不想一开始就背着 API 账单第二类是学生和研究者需要大量做实验、跑评测但预算有限第三类就是纯粹想学习大模型应用开发的玩家用零成本把 LLM 应用的全链路跑通一遍。我在实际测试中发现很多人对 Workers AI 有个误解以为它只是 Cloudflare 生态里的一个小玩具。但实际上它背后的基础设施相当扎实——利用 Cloudflare 遍布全球 300 多个城市的边缘网络把推理请求路由到离用户最近的 GPU 节点上执行。这意味着什么意味着你的 API 响应速度可能比某些集中式云厂商还快因为请求不用绕到千里之外的数据中心。2. 成本对比到底比 OpenAI 省多少2.1 明明白白算笔账先说 OpenAI 的价格基准。以目前大家常用的 GPT-4o mini 为例输入价格是 0.15 美元/百万 token输出价格是 0.6 美元/百万 token。注意这是官方定价实际上如果你用量大还需要考虑 prompt caching、batch API 这些乱七八糟的计费项实际账单往往比想象中高。再看 Workers AI 的定价模型。它的免费额度是每天 10000 神经元neuron超出部分按 $0.011/千神经元计费。这里有个关键概念需要解释一下——神经元。Cloudflare 为了统一不同模型的计费标准设计了这个抽象单位。不同模型处理同样长度的文本消耗的神经元数量不一样官方文档给了一个参考Llama 3.1 8B 模型处理 1000 个输入 token 大约消耗 24 个神经元生成 1000 个输出 token 大约消耗 288 个神经元。我实测过如果用 Llama 3.1 8B 跑一个几百字的文案生成任务假设输入 300 token、输出 800 token单次调用大约消耗 24 * 0.3 288 * 0.8 ≈ 237 个神经元。这样一算每天 10000 神经元大概能跑 40 次左右这种量级的任务等等这个算法有问题让我重新算。上面算错了实际应该这么算24 神经元/千输入 token 288 神经元/千输出 token。输入 300 token 就是 24 * 0.3 7.2输出 800 token 就是 288 * 0.8 230.4加起来单次约 238 神经元。那 10000 / 238 ≈ 42 次确实不算多。但这里有个大坑大部分人的使用场景根本不会像上面这么重。如果是做简单的分类、抽取、改写输出往往只有一两百 token。假设输入 500 token、输出 150 token单次消耗 24 * 0.5 288 * 0.15 55.2 神经元。那 10000 / 55 ≈ 180 次。如果你优化得好把输入输出都压短每天几百上千次完全可行。这里要给一个对比表项目OpenAI GPT-4o miniWorkers AI (Llama 3.1 8B)输入价格/百万 token$0.15免费额度内 $0输出价格/百万 token$0.60免费额度内 $0每日免费额度无10000 神经元超出后的价格按 token 计费$0.011/千神经元响应速度取决于地区边缘节点就近推理表格不是重点重点是你要理解一个深刻的差异OpenAI 是平台锁定型服务数据要送到它的服务器费率固定而 Workers AI 是让你在边缘网络上跑开源模型额度用完即停不会有“忘了关服务导致账单爆炸”这种事。对于个人开发者这种安全边际非常重要。2.2 认知误区免费额度不等于无限调用很多人看到“每天免费 10000 次”就以为真的能调用一万次这是对标题的误读。所谓 10000 次神经元指的是算力配额不是请求次数。不同模型、不同输入输出长度单次请求消耗的神经元数量天差地别。拿 Cloudflare 官方博客的例子来说免费额度大约可以支撑每天 10000 次短文本分类请求输入 100 token输出 20 token每天 3000 次短文本生成请求输入 200 token输出 100 token每天 300 次长文总结请求输入 2000 token输出 500 token所以如果你是做聊天机器人每次对话动辄几百上千 token免费额度很快会耗尽。但如果你做的是数据标注、内容过滤、标签生成这类轻量任务那 10000 神经元可能一天都用不完。这也是为什么我强烈建议大家在设计应用时把 prompt 和输出尽量压缩——省 token 就是省神经元直接决定你的免费额度能用多久。3. 环境准备注册、开通、拿密钥3.1 注册 Cloudflare 账号并开通 Workers AI第一步肯定是注册一个 Cloudflare 账号这里有个小技巧注册时用真实邮箱因为后续要做邮箱验证。登录之后进入控制台左侧菜单找到 Workers Pages进去之后会看到 Workers AI 的入口。点击 Workers AI 之后需要你先创建一个 Worker相当于一个云函数然后才能绑定 Workers AI 能力。这一步很多人会困惑因为 Cloudflare 的界面改版过好几次不同教程截图对不上。我建议你直接看官方文档的 Quickstart 页面按步骤走不会有问题。创建 Worker 之后重点来了——你要进入 Workers AI 的详情页找到 API 密钥相关的设置。Cloudflare 提供两种认证方式一种是全局 API TokenGlobal API Key权限过大不推荐另一种是绑定到 Worker 内置的 AI binding这种方式最安全不需要在代码里写死密钥。我的建议是如果是学习测试直接用 AI binding 就行如果要把 Workers AI 集成到你现有的后端应用里用 API Token 配合环境变量管理。不要把密钥硬编码在前端代码里这是最基本的安全底线。3.2 搞定模型选择和参数配置Workers AI 的模型库里有 Llama 3.1 8B、Mistral 7B、Qwen 2.5-Coder、Gemma 等一堆开源模型不同模型有不同的特长。Llama 3.1 8B 综合能力强适合通用对话Mistral 7B 处理英文效率高速度也快Qwen 系列对中文支持好如果你做中文应用Qwen 是首选。我在实际测试中发现Llama 3.1 8B 的指令遵循能力在同类开源模型里算不错的但中文表达偶尔会有英文夹杂的情况。而 Qwen 2.5 系列的中文流畅度明显更好。所以如果你做中文内容生成不要在模型选型上偷懒直接上 Qwen。参数配置方面最核心的是这三个temperature温度、max_tokens最大生成长度、top_p核采样。temperature 控制随机性0 到 1 之间做分类任务建议调到 0.2 以下做创意写作可以到 0.7 以上。max_tokens 直接决定你单次请求消耗多少神经元能省则省。还有一个容易踩坑的点Workers AI 的免费套餐对同时进行的推理请求数量有限制。如果你并发很高可能收到 429 限流错误。这个在免费额度下很正常加个重试机制就好。4. 上手实操第一个 Workers AI 应用4.1 最简单的调用方式AI binding先来一个最直接的例子用 AI binding 在 Worker 里调用大模型。这段代码可以直接在 Cloudflare 控制台的 Worker 编辑器中测试export default { async fetch(request, env) { const prompt 用一句话介绍你自己; const response await env.AI.run( cf/meta/llama-3.1-8b-instruct, { prompt: prompt, max_tokens: 128, temperature: 0.5 } ); return new Response(JSON.stringify(response), { headers: { Content-Type: application/json } }); } }这里注意两个细节第一env.AI 是 Cloudflare 自动注入的 binding 对象前提是你已经在 Worker 设置里添加了 Workers AI 绑定第二模型名称必须是完整的格式比如 cf/meta/llama-3.1-8b-instruct少一个前缀都会报错。跑通这个示例之后你可能会觉得——这不就是一个云函数调用大模型吗跟用 axios 调 OpenAI API 有啥区别区别在于它部署在边缘网络上不需要你自己买服务器它内置了跟 Cloudflare 生态其他服务的联动更重要的是它的成本模型完全不同。你不需要为闲置时间付费因为它本身就是按量计费。4.2 复杂一点做一个支持多轮对话的接口单轮问答太简单了我们做一个支持多轮对话的版本。这里的核心问题是——Workers AI 的模型接口是纯无状态的你需要自己维护对话历史每次把完整的历史记录拼到 prompt 里发过去。export default { async fetch(request, env) { // 从请求中解析出用户消息和之前的历史 const { message, history [] } await request.json(); // 构建 messages 格式 const messages [ { role: system, content: 你是一个友好的中文助手。 }, ...history, { role: user, content: message } ]; const response await env.AI.run( cf/meta/llama-3.1-8b-instruct, { messages } ); return new Response(JSON.stringify({ reply: response.response }), { headers: { Content-Type: application/json } }); } }这里容易犯一个错误直接把 messages 数组无限增长往下传。对话历史越大消耗的神经元越多最终导致免费额度迅速耗尽。解决办法很简单——限制历史轮数比如只保留最近 6 轮对话或者用简单的摘要压缩机制。我见过太多人忽略这个问题结果一个聊天机器人跑了几天额度就光了还以为是平台出 bug 了。5. 如何接入你现有的 OpenAI 代码5.1 用 OpenAI SDK 直接“改个地址”接上 Workers AI很多开发者手头已经有一套用 OpenAI SDK 写的代码迁移到 Workers AI 的顾虑之一就是“是不是要重写”。好消息是不用。Workers AI 提供了一个 OpenAI 兼容的接口你可以通过设置 base URL 的方式把 OpenAI SDK 指向 Workers AI 的网关。这样你现有的代码只需要改两行配置就能切换到 Workers AI 上跑开源模型。官方的网关地址是https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai对应 Python SDK 的写法是from openai import OpenAI client OpenAI( base_urlhttps://gateway.ai.cloudflare.com/v1/你的账号ID/你的网关ID/openai, api_key你的CloudflareAPI令牌 ) response client.chat.completions.create( modelcf/meta/llama-3.1-8b-instruct, messages[ {role: system, content: 你是一个有帮助的助手。}, {role: user, content: 写一首关于秋天的诗} ] ) print(response.choices[0].message.content)注意这里 model 参数必须用 Workers AI 的完整模型 ID不能用 OpenAI 的模型名。网关的作用是把 OpenAI 格式的请求翻译成 Workers AI 内部的请求格式所以你在 SDK 里传参的方式和 OpenAI 完全一致。这个方案的最大价值在于——你可以在不改业务逻辑的情况下无缝切换到大模型供应商。今天想省钱用开源模型明天想跑更强的模型都只是换一个 base_url 的事。5.2 网关Gateway的工作机制和避坑指南说到网关这里有必要多讲几句。Cloudflare AI Gateway 本质上是一个代理层它会缓存你的重复请求。如果你连续调用同一个 prompt网关会直接返回缓存结果不再触发真正的模型推理——这意味着零消耗。这个功能对于某些场景是双刃剑。好处是省额度、加速响应坏处是如果你做的是个性化生成任务比如每次都要不同的文案缓存反而会返回相同的结果。我建议在需要个性化的请求里加上一个随机参数来绕过缓存或者直接通过请求头控制缓存策略。另一个坑是网关的限流。免费额度下网关对每分钟的请求数也有限制。如果你用 Python 脚本批量调用时发现突然大量超时别急着怪模型先检查是不是请求太密集触发了限流。加个简单的时间间隔就能解决。最后提醒一点网关不支持流式响应streaming的完整兼容。OpenAI SDK 的 streamTrue 参数在网上有一些兼容性问题如果你依赖流式打字机效果建议直接用原生 Workers AI 接口走 WebSocket 或者 SSE 协议而不是走 OpenAI 兼容层。6. 进阶玩法边缘推理、对象存储与向量检索6.1 用 KV 或 R2 做会话记忆和文件存储前面说到 Workers AI 是无状态的这意味着如果你想让机器人“记住”用户就得自己维护状态。Cloudflare 生态里有现成的工具Workers KV键值存储和 R2对象存储。KV 特别适合存会话历史。比如以 user_id 为 key存一个 JSON 数组记录该用户的历史对话。每次请求时读到这个数组拼到 prompt 里请求结束后再把新消息追加进去。KV 的读取延迟在边缘网络下通常只有几十毫秒完全够用。R2 则适合存文件类的东西——用户上传的PDF、图片、音频。如果你要做文档问答应用流程是用户传文件到 R2然后 Worker 读取文件内容切块生成向量存到 VectorizeCloudflare 的向量数据库最后在问答时做向量相似度检索再把命中的上下文片段喂给大模型。我最近就在做一个开源项目用这套组合拳搭了一个 RAG 问答机器人。整个过程没有花一分钱效果还出奇地好——因为 Workers AI 的边缘推理节点和 R2 存储节点往往在同一个机房数据读取几乎是零延迟。6.2 定时任务和批量处理的实操套路除了在线实时推理Workers AI 还能配合 Cloudflare Cron Triggers 做定时任务。比如你想每天早上 8 点自动处理一批昨天的用户数据或者在每周一自动生成一份周报摘要都可以交给定时触发的 Worker。实操套路是这样的写一个 Worker导出 scheduled 方法里面调用 AI binding 做推理。然后在 Worker 设置里配置 Cron Triggers支持标准的 cron 表达式。我之前做过一个自动打标签的脚本每 10 分钟跑一次把新产生的工单自动分类到对应部门跑了几个月额度都没用完。不过要注意Cron 触发的 Worker 运行时长限制比 HTTP 请求长一些但也不能无限跑。如果你的批量任务很大建议自己在代码里分批处理比如一次只处理 100 条记录避免超时。7. 常见问题与排查技巧实录7.1 模型名报错、401 认证失败、429 限流我把自己和社区里遇到的高频问题整理成了一个速查表方便你排查时对照现象可能原因解决办法报错 Model Not Found模型 ID 写错或该模型未在你所在区域开通复制官方文档中的完整模型 ID不要手动简写401 UnauthorizedAPI Token 权限不足或已过期检查 Token 是否勾选了 Workers AI 的权限建议直接重新生成一个429 Too Many Requests并发超过免费额度限制加上退避重试逻辑控制并发数量在 5 以内请求超时超过等待时间模型推理时间过长或是冷启动降低 max_tokens或改用更小的模型如 7B 版本返回内容被截断max_tokens 设得太小调大 max_tokens但注意这会增加神经元消耗7.2 独门经验额度优化与成本控制三板斧最后分享几个我压箱底的经验。第一prompt 压缩是省钱第一生产力。同样的任务把 prompt 从 500 token 压到 200 token你的免费额度使用量直接少了一半还多。写 prompt 的时候去掉了所有修饰词、重复的描述只保留核心指令和必要的上下文用词间的连接词能省就省。不要担心“说得太简略模型听不懂”现在的开源模型指令理解能力已经很强了。第二善用模型选择。一个应用内不要只用一个大模型。比如简单的分类任务用 7B 模型能搞定的绝不上 8B复杂的创意写作才用 8B 或更大的。不同任务分配不同模型总体神经元消耗可以降 30% 到 50%。第三善用缓存权重。Cloudflare 网关的缓存是默认开启的但对于个性化生成任务你需要显式地绕过。我的做法是去重类的请求走缓存比如“给这条新闻生成 5 个标签”创意类的请求加一个随机 token 参数打破缓存比如“写一个关于XX的小红书文案随机补充xxx”。写在最后说实话我第一次用 Workers AI 跑通一个完整体验的聊天机器人时确实有点兴奋——不是因为技术多牛而是因为“原来不用花钱也能把大模型应用做起来”这件事真的可以落地。我踩过认证配置的坑见过额度被缓存坑掉的案例也试过并发太高被限流到怀疑人生但这些问题的解法都不复杂关键是你得真的动手跑一遍。如果你打算上手我的建议是先照着最简单的示例跑通再加会话记忆再尝试接入自己现有的 OpenAI 代码一步步来。等你把整套链路摸熟了Workers AI 的免费额度足够支撑一个小型产品从零到一跑上几个月。到那时如果你想再提升能力再考虑混合调用付费模型也不迟。反正模型是开放平台你用哪家都是自己的选择别再纠结了先跑起来。
1. Workers AI 是什么为什么值得折腾先说结论Cloudflare 推出的 Workers AI 平台本质上是一套架在全球边缘节点上的大模型推理服务。你不用自己买显卡、不用管 GPU 集群、不用运维推理服务只需要写几行代码部署到 Cloudflare Workers 上就能直接调用 Llama、Mistral、Qwen 这些开源大模型做推理。最关键的是它有一个免费额度——每天 10000 次神经元调用neuron对于个人开发者、小工具、学习项目来说基本等于白嫖。我第一次听到这个事的时候也半信半疑毕竟 OpenAI 的 API 虽然好用但价格摆在那。拿 GPT-4o mini 来说虽然已经算便宜了但如果做一个每天被频繁调用的机器人或者自动化脚本一个月下来账单照样吓人。而 Workers AI 的免费额度用完就停不会产生扣费这对预算敏感的项目简直是救命稻草。那它到底能干什么简单列几个场景给你感受一下写一个 Telegram 机器人帮你总结文章、做一个小红书文案生成器、给自己的博客加一个 AI 搜索问答、批量给商品标题做分类打标、甚至跑一个 RAG 问答系统。这些场景每天的量级通常不会超过几千次调用Workers AI 完全扛得住。什么人适合折腾这个我觉得有三类人最值得花时间第一类是独立开发者想快速验证 AI 产品的想法不想一开始就背着 API 账单第二类是学生和研究者需要大量做实验、跑评测但预算有限第三类就是纯粹想学习大模型应用开发的玩家用零成本把 LLM 应用的全链路跑通一遍。我在实际测试中发现很多人对 Workers AI 有个误解以为它只是 Cloudflare 生态里的一个小玩具。但实际上它背后的基础设施相当扎实——利用 Cloudflare 遍布全球 300 多个城市的边缘网络把推理请求路由到离用户最近的 GPU 节点上执行。这意味着什么意味着你的 API 响应速度可能比某些集中式云厂商还快因为请求不用绕到千里之外的数据中心。2. 成本对比到底比 OpenAI 省多少2.1 明明白白算笔账先说 OpenAI 的价格基准。以目前大家常用的 GPT-4o mini 为例输入价格是 0.15 美元/百万 token输出价格是 0.6 美元/百万 token。注意这是官方定价实际上如果你用量大还需要考虑 prompt caching、batch API 这些乱七八糟的计费项实际账单往往比想象中高。再看 Workers AI 的定价模型。它的免费额度是每天 10000 神经元neuron超出部分按 $0.011/千神经元计费。这里有个关键概念需要解释一下——神经元。Cloudflare 为了统一不同模型的计费标准设计了这个抽象单位。不同模型处理同样长度的文本消耗的神经元数量不一样官方文档给了一个参考Llama 3.1 8B 模型处理 1000 个输入 token 大约消耗 24 个神经元生成 1000 个输出 token 大约消耗 288 个神经元。我实测过如果用 Llama 3.1 8B 跑一个几百字的文案生成任务假设输入 300 token、输出 800 token单次调用大约消耗 24 * 0.3 288 * 0.8 ≈ 237 个神经元。这样一算每天 10000 神经元大概能跑 40 次左右这种量级的任务等等这个算法有问题让我重新算。上面算错了实际应该这么算24 神经元/千输入 token 288 神经元/千输出 token。输入 300 token 就是 24 * 0.3 7.2输出 800 token 就是 288 * 0.8 230.4加起来单次约 238 神经元。那 10000 / 238 ≈ 42 次确实不算多。但这里有个大坑大部分人的使用场景根本不会像上面这么重。如果是做简单的分类、抽取、改写输出往往只有一两百 token。假设输入 500 token、输出 150 token单次消耗 24 * 0.5 288 * 0.15 55.2 神经元。那 10000 / 55 ≈ 180 次。如果你优化得好把输入输出都压短每天几百上千次完全可行。这里要给一个对比表项目OpenAI GPT-4o miniWorkers AI (Llama 3.1 8B)输入价格/百万 token$0.15免费额度内 $0输出价格/百万 token$0.60免费额度内 $0每日免费额度无10000 神经元超出后的价格按 token 计费$0.011/千神经元响应速度取决于地区边缘节点就近推理表格不是重点重点是你要理解一个深刻的差异OpenAI 是平台锁定型服务数据要送到它的服务器费率固定而 Workers AI 是让你在边缘网络上跑开源模型额度用完即停不会有“忘了关服务导致账单爆炸”这种事。对于个人开发者这种安全边际非常重要。2.2 认知误区免费额度不等于无限调用很多人看到“每天免费 10000 次”就以为真的能调用一万次这是对标题的误读。所谓 10000 次神经元指的是算力配额不是请求次数。不同模型、不同输入输出长度单次请求消耗的神经元数量天差地别。拿 Cloudflare 官方博客的例子来说免费额度大约可以支撑每天 10000 次短文本分类请求输入 100 token输出 20 token每天 3000 次短文本生成请求输入 200 token输出 100 token每天 300 次长文总结请求输入 2000 token输出 500 token所以如果你是做聊天机器人每次对话动辄几百上千 token免费额度很快会耗尽。但如果你做的是数据标注、内容过滤、标签生成这类轻量任务那 10000 神经元可能一天都用不完。这也是为什么我强烈建议大家在设计应用时把 prompt 和输出尽量压缩——省 token 就是省神经元直接决定你的免费额度能用多久。3. 环境准备注册、开通、拿密钥3.1 注册 Cloudflare 账号并开通 Workers AI第一步肯定是注册一个 Cloudflare 账号这里有个小技巧注册时用真实邮箱因为后续要做邮箱验证。登录之后进入控制台左侧菜单找到 Workers Pages进去之后会看到 Workers AI 的入口。点击 Workers AI 之后需要你先创建一个 Worker相当于一个云函数然后才能绑定 Workers AI 能力。这一步很多人会困惑因为 Cloudflare 的界面改版过好几次不同教程截图对不上。我建议你直接看官方文档的 Quickstart 页面按步骤走不会有问题。创建 Worker 之后重点来了——你要进入 Workers AI 的详情页找到 API 密钥相关的设置。Cloudflare 提供两种认证方式一种是全局 API TokenGlobal API Key权限过大不推荐另一种是绑定到 Worker 内置的 AI binding这种方式最安全不需要在代码里写死密钥。我的建议是如果是学习测试直接用 AI binding 就行如果要把 Workers AI 集成到你现有的后端应用里用 API Token 配合环境变量管理。不要把密钥硬编码在前端代码里这是最基本的安全底线。3.2 搞定模型选择和参数配置Workers AI 的模型库里有 Llama 3.1 8B、Mistral 7B、Qwen 2.5-Coder、Gemma 等一堆开源模型不同模型有不同的特长。Llama 3.1 8B 综合能力强适合通用对话Mistral 7B 处理英文效率高速度也快Qwen 系列对中文支持好如果你做中文应用Qwen 是首选。我在实际测试中发现Llama 3.1 8B 的指令遵循能力在同类开源模型里算不错的但中文表达偶尔会有英文夹杂的情况。而 Qwen 2.5 系列的中文流畅度明显更好。所以如果你做中文内容生成不要在模型选型上偷懒直接上 Qwen。参数配置方面最核心的是这三个temperature温度、max_tokens最大生成长度、top_p核采样。temperature 控制随机性0 到 1 之间做分类任务建议调到 0.2 以下做创意写作可以到 0.7 以上。max_tokens 直接决定你单次请求消耗多少神经元能省则省。还有一个容易踩坑的点Workers AI 的免费套餐对同时进行的推理请求数量有限制。如果你并发很高可能收到 429 限流错误。这个在免费额度下很正常加个重试机制就好。4. 上手实操第一个 Workers AI 应用4.1 最简单的调用方式AI binding先来一个最直接的例子用 AI binding 在 Worker 里调用大模型。这段代码可以直接在 Cloudflare 控制台的 Worker 编辑器中测试export default { async fetch(request, env) { const prompt 用一句话介绍你自己; const response await env.AI.run( cf/meta/llama-3.1-8b-instruct, { prompt: prompt, max_tokens: 128, temperature: 0.5 } ); return new Response(JSON.stringify(response), { headers: { Content-Type: application/json } }); } }这里注意两个细节第一env.AI 是 Cloudflare 自动注入的 binding 对象前提是你已经在 Worker 设置里添加了 Workers AI 绑定第二模型名称必须是完整的格式比如 cf/meta/llama-3.1-8b-instruct少一个前缀都会报错。跑通这个示例之后你可能会觉得——这不就是一个云函数调用大模型吗跟用 axios 调 OpenAI API 有啥区别区别在于它部署在边缘网络上不需要你自己买服务器它内置了跟 Cloudflare 生态其他服务的联动更重要的是它的成本模型完全不同。你不需要为闲置时间付费因为它本身就是按量计费。4.2 复杂一点做一个支持多轮对话的接口单轮问答太简单了我们做一个支持多轮对话的版本。这里的核心问题是——Workers AI 的模型接口是纯无状态的你需要自己维护对话历史每次把完整的历史记录拼到 prompt 里发过去。export default { async fetch(request, env) { // 从请求中解析出用户消息和之前的历史 const { message, history [] } await request.json(); // 构建 messages 格式 const messages [ { role: system, content: 你是一个友好的中文助手。 }, ...history, { role: user, content: message } ]; const response await env.AI.run( cf/meta/llama-3.1-8b-instruct, { messages } ); return new Response(JSON.stringify({ reply: response.response }), { headers: { Content-Type: application/json } }); } }这里容易犯一个错误直接把 messages 数组无限增长往下传。对话历史越大消耗的神经元越多最终导致免费额度迅速耗尽。解决办法很简单——限制历史轮数比如只保留最近 6 轮对话或者用简单的摘要压缩机制。我见过太多人忽略这个问题结果一个聊天机器人跑了几天额度就光了还以为是平台出 bug 了。5. 如何接入你现有的 OpenAI 代码5.1 用 OpenAI SDK 直接“改个地址”接上 Workers AI很多开发者手头已经有一套用 OpenAI SDK 写的代码迁移到 Workers AI 的顾虑之一就是“是不是要重写”。好消息是不用。Workers AI 提供了一个 OpenAI 兼容的接口你可以通过设置 base URL 的方式把 OpenAI SDK 指向 Workers AI 的网关。这样你现有的代码只需要改两行配置就能切换到 Workers AI 上跑开源模型。官方的网关地址是https://gateway.ai.cloudflare.com/v1/{account_id}/{gateway_id}/openai对应 Python SDK 的写法是from openai import OpenAI client OpenAI( base_urlhttps://gateway.ai.cloudflare.com/v1/你的账号ID/你的网关ID/openai, api_key你的CloudflareAPI令牌 ) response client.chat.completions.create( modelcf/meta/llama-3.1-8b-instruct, messages[ {role: system, content: 你是一个有帮助的助手。}, {role: user, content: 写一首关于秋天的诗} ] ) print(response.choices[0].message.content)注意这里 model 参数必须用 Workers AI 的完整模型 ID不能用 OpenAI 的模型名。网关的作用是把 OpenAI 格式的请求翻译成 Workers AI 内部的请求格式所以你在 SDK 里传参的方式和 OpenAI 完全一致。这个方案的最大价值在于——你可以在不改业务逻辑的情况下无缝切换到大模型供应商。今天想省钱用开源模型明天想跑更强的模型都只是换一个 base_url 的事。5.2 网关Gateway的工作机制和避坑指南说到网关这里有必要多讲几句。Cloudflare AI Gateway 本质上是一个代理层它会缓存你的重复请求。如果你连续调用同一个 prompt网关会直接返回缓存结果不再触发真正的模型推理——这意味着零消耗。这个功能对于某些场景是双刃剑。好处是省额度、加速响应坏处是如果你做的是个性化生成任务比如每次都要不同的文案缓存反而会返回相同的结果。我建议在需要个性化的请求里加上一个随机参数来绕过缓存或者直接通过请求头控制缓存策略。另一个坑是网关的限流。免费额度下网关对每分钟的请求数也有限制。如果你用 Python 脚本批量调用时发现突然大量超时别急着怪模型先检查是不是请求太密集触发了限流。加个简单的时间间隔就能解决。最后提醒一点网关不支持流式响应streaming的完整兼容。OpenAI SDK 的 streamTrue 参数在网上有一些兼容性问题如果你依赖流式打字机效果建议直接用原生 Workers AI 接口走 WebSocket 或者 SSE 协议而不是走 OpenAI 兼容层。6. 进阶玩法边缘推理、对象存储与向量检索6.1 用 KV 或 R2 做会话记忆和文件存储前面说到 Workers AI 是无状态的这意味着如果你想让机器人“记住”用户就得自己维护状态。Cloudflare 生态里有现成的工具Workers KV键值存储和 R2对象存储。KV 特别适合存会话历史。比如以 user_id 为 key存一个 JSON 数组记录该用户的历史对话。每次请求时读到这个数组拼到 prompt 里请求结束后再把新消息追加进去。KV 的读取延迟在边缘网络下通常只有几十毫秒完全够用。R2 则适合存文件类的东西——用户上传的PDF、图片、音频。如果你要做文档问答应用流程是用户传文件到 R2然后 Worker 读取文件内容切块生成向量存到 VectorizeCloudflare 的向量数据库最后在问答时做向量相似度检索再把命中的上下文片段喂给大模型。我最近就在做一个开源项目用这套组合拳搭了一个 RAG 问答机器人。整个过程没有花一分钱效果还出奇地好——因为 Workers AI 的边缘推理节点和 R2 存储节点往往在同一个机房数据读取几乎是零延迟。6.2 定时任务和批量处理的实操套路除了在线实时推理Workers AI 还能配合 Cloudflare Cron Triggers 做定时任务。比如你想每天早上 8 点自动处理一批昨天的用户数据或者在每周一自动生成一份周报摘要都可以交给定时触发的 Worker。实操套路是这样的写一个 Worker导出 scheduled 方法里面调用 AI binding 做推理。然后在 Worker 设置里配置 Cron Triggers支持标准的 cron 表达式。我之前做过一个自动打标签的脚本每 10 分钟跑一次把新产生的工单自动分类到对应部门跑了几个月额度都没用完。不过要注意Cron 触发的 Worker 运行时长限制比 HTTP 请求长一些但也不能无限跑。如果你的批量任务很大建议自己在代码里分批处理比如一次只处理 100 条记录避免超时。7. 常见问题与排查技巧实录7.1 模型名报错、401 认证失败、429 限流我把自己和社区里遇到的高频问题整理成了一个速查表方便你排查时对照现象可能原因解决办法报错 Model Not Found模型 ID 写错或该模型未在你所在区域开通复制官方文档中的完整模型 ID不要手动简写401 UnauthorizedAPI Token 权限不足或已过期检查 Token 是否勾选了 Workers AI 的权限建议直接重新生成一个429 Too Many Requests并发超过免费额度限制加上退避重试逻辑控制并发数量在 5 以内请求超时超过等待时间模型推理时间过长或是冷启动降低 max_tokens或改用更小的模型如 7B 版本返回内容被截断max_tokens 设得太小调大 max_tokens但注意这会增加神经元消耗7.2 独门经验额度优化与成本控制三板斧最后分享几个我压箱底的经验。第一prompt 压缩是省钱第一生产力。同样的任务把 prompt 从 500 token 压到 200 token你的免费额度使用量直接少了一半还多。写 prompt 的时候去掉了所有修饰词、重复的描述只保留核心指令和必要的上下文用词间的连接词能省就省。不要担心“说得太简略模型听不懂”现在的开源模型指令理解能力已经很强了。第二善用模型选择。一个应用内不要只用一个大模型。比如简单的分类任务用 7B 模型能搞定的绝不上 8B复杂的创意写作才用 8B 或更大的。不同任务分配不同模型总体神经元消耗可以降 30% 到 50%。第三善用缓存权重。Cloudflare 网关的缓存是默认开启的但对于个性化生成任务你需要显式地绕过。我的做法是去重类的请求走缓存比如“给这条新闻生成 5 个标签”创意类的请求加一个随机 token 参数打破缓存比如“写一个关于XX的小红书文案随机补充xxx”。写在最后说实话我第一次用 Workers AI 跑通一个完整体验的聊天机器人时确实有点兴奋——不是因为技术多牛而是因为“原来不用花钱也能把大模型应用做起来”这件事真的可以落地。我踩过认证配置的坑见过额度被缓存坑掉的案例也试过并发太高被限流到怀疑人生但这些问题的解法都不复杂关键是你得真的动手跑一遍。如果你打算上手我的建议是先照着最简单的示例跑通再加会话记忆再尝试接入自己现有的 OpenAI 代码一步步来。等你把整套链路摸熟了Workers AI 的免费额度足够支撑一个小型产品从零到一跑上几个月。到那时如果你想再提升能力再考虑混合调用付费模型也不迟。反正模型是开放平台你用哪家都是自己的选择别再纠结了先跑起来。
