FreeLLMAPI 是一个开源的OpenAI 兼容 API 代理网关由开发者 tashfeenahmed 创建并托管在 GitHub 上github.com/tashfeenahmed/freellmapi目前已有超过 6000 个 Star。它的核心思路非常巧妙将约 14 家 AI 服务商的免费 API 额度聚合到一个统一端点上对外暴露标准的 OpenAI 接口让开发者可以零成本使用大模型。核心功能多平台免费额度聚合整合了 Google Gemini、Groq、Cerebras、SambaNova、Mistral、OpenRouter、GitHub Models、Cloudflare Workers AI、Cohere、智谱 Z.ai、MiniMax、NVIDIA NIM 等约 14 家平台的免费 API每月总计约13 亿 tokens的免费推理额度。OpenAI 兼容接口对外暴露标准的/v1/chat/completions和/v1/models端点兼容 OpenAI 官方 SDK、LangChain、LlamaIndex 等客户端只需修改base_url即可无缝接入现有项目。自动故障转移当首选提供商返回 429/5xx 错误或超时时自动将其置为冷却状态并按预设优先级链尝试下一家提供商最多重试 20 次。智能速率与配额追踪针对每个平台、模型、密钥组合实时跟踪 RPM、RPD、TPM、TPD 用量确保始终调用未超限的健康密钥。粘性会话锁定多轮对话在 30 分钟内锁定同一模型防止中途切换导致上下文断裂。AES-256-GCM 密钥加密上游 API 密钥在数据库中静态加密仅在请求时于内存中临时解密。可视化仪表盘内置 React/Vite 管理后台支持拖拽调整回退链优先级、Playground 快速测试、以及延迟/成功率/Token 用量等统计分析。快速上手环境准备Node.js 20 以上Git部署步骤# 克隆仓库git clone https://github.com/tashfeenahmed/freellmapi.gitcd freellmapi# 安装依赖npm install# 生成加密密钥并创建 .env 文件cp .env.example .envecho ENCRYPTION_KEY$(node -e console.log(require(crypto).randomBytes(32).toString(hex))) .env# 启动开发服务器npm run dev启动后访问 http://localhost:5173在 Keys 页面添加各服务商的 API Key即可生成统一的 Bearer Token。使用示例局限性与注意事项非前沿模型免费层级通常对应中等规模模型如 Llama 3.3 70B、GLM-4.5无法获得 GPT-5 或 Claude Opus 级别的顶级推理能力。性能波动不同服务商的延迟差异较大Groq/Cerebras 极快其他可能较慢且随着每日免费额度消耗路由可能回退到较小或较慢的模型。本地优先项目设计为个人自用不支持多租户认证不建议直接暴露于公网。功能限制目前仅支持文本聊天暂不支持嵌入embedding、图像生成、音频或多模态输入。适用场景FreeLLMAPI 非常适合 个人开发者、学生、小型初创团队 用于本地实验、原型验证和低成本 AI 应用开发。它通过技术手段将分散的免费资源整合成一股合力提供了一个零成本、高可用性的大模型接入方案。
FreeLLMAPI 是一个开源的OpenAI 兼容 API 代理网关由开发者 tashfeenahmed 创建并托管在 GitHub 上github.com/tashfeenahmed/freellmapi目前已有超过 6000 个 Star。它的核心思路非常巧妙将约 14 家 AI 服务商的免费 API 额度聚合到一个统一端点上对外暴露标准的 OpenAI 接口让开发者可以零成本使用大模型。核心功能多平台免费额度聚合整合了 Google Gemini、Groq、Cerebras、SambaNova、Mistral、OpenRouter、GitHub Models、Cloudflare Workers AI、Cohere、智谱 Z.ai、MiniMax、NVIDIA NIM 等约 14 家平台的免费 API每月总计约13 亿 tokens的免费推理额度。OpenAI 兼容接口对外暴露标准的/v1/chat/completions和/v1/models端点兼容 OpenAI 官方 SDK、LangChain、LlamaIndex 等客户端只需修改base_url即可无缝接入现有项目。自动故障转移当首选提供商返回 429/5xx 错误或超时时自动将其置为冷却状态并按预设优先级链尝试下一家提供商最多重试 20 次。智能速率与配额追踪针对每个平台、模型、密钥组合实时跟踪 RPM、RPD、TPM、TPD 用量确保始终调用未超限的健康密钥。粘性会话锁定多轮对话在 30 分钟内锁定同一模型防止中途切换导致上下文断裂。AES-256-GCM 密钥加密上游 API 密钥在数据库中静态加密仅在请求时于内存中临时解密。可视化仪表盘内置 React/Vite 管理后台支持拖拽调整回退链优先级、Playground 快速测试、以及延迟/成功率/Token 用量等统计分析。快速上手环境准备Node.js 20 以上Git部署步骤# 克隆仓库git clone https://github.com/tashfeenahmed/freellmapi.gitcd freellmapi# 安装依赖npm install# 生成加密密钥并创建 .env 文件cp .env.example .envecho ENCRYPTION_KEY$(node -e console.log(require(crypto).randomBytes(32).toString(hex))) .env# 启动开发服务器npm run dev启动后访问 http://localhost:5173在 Keys 页面添加各服务商的 API Key即可生成统一的 Bearer Token。使用示例局限性与注意事项非前沿模型免费层级通常对应中等规模模型如 Llama 3.3 70B、GLM-4.5无法获得 GPT-5 或 Claude Opus 级别的顶级推理能力。性能波动不同服务商的延迟差异较大Groq/Cerebras 极快其他可能较慢且随着每日免费额度消耗路由可能回退到较小或较慢的模型。本地优先项目设计为个人自用不支持多租户认证不建议直接暴露于公网。功能限制目前仅支持文本聊天暂不支持嵌入embedding、图像生成、音频或多模态输入。适用场景FreeLLMAPI 非常适合 个人开发者、学生、小型初创团队 用于本地实验、原型验证和低成本 AI 应用开发。它通过技术手段将分散的免费资源整合成一股合力提供了一个零成本、高可用性的大模型接入方案。
