不止Chat Completions：New API 支持 Realtime、图像、音频与 Rerank 的进阶接口全景

不止Chat CompletionsNew API 支持 Realtime、图像、音频与 Rerank 的进阶接口全景【免费下载链接】new-apiA unified AI model hub for aggregation distribution. It supports cross-converting various LLMs into OpenAI-compatible, Claude-compatible, or Gemini-compatible formats. A centralized gateway for personal and enterprise model management.项目地址: https://gitcode.com/gh_mirrors/ne/new-apiNew API是一款统一的AI 模型网关LLM Gateway可将各家大模型跨格式转换成OpenAI 兼容 / Claude 兼容 / Gemini 兼容协议。多数人只用了它的/v1/chat/completions其实它还内置了Realtime 实时语音对话、图像生成与编辑、音频语音合成/识别/翻译、Rerank 重排序等一组进阶接口——一套 API Key、一个网关地址就能打通多模态全链路。本文将带你用一张全景图 逐接口拆解的方式快速看懂 New API 的进阶能力与上手姿势 。一、为什么要走出 Chat Completions传统用法只把 New API 当OpenAI 代理只对接文本问答多模态还得另接官方域名每个厂商接口格式不同客户端要写一堆分支逻辑计费、限流、渠道分发各自为政难以统一管理。New API 的做法是把不同厂商、不同模态的请求统一翻译成标准协议再由网关分发到对应渠道最后统一计费。这样一来客户端只需记住New API 地址 API Key即可天然适合个人与企业做集中式模型管理与分发。核心源码见 relaykit/types/relay_format.go其中定义了openai_realtime、openai_image、openai_audio、rerank等转发表达式。二、进阶接口全景速览先看这张速查表一眼掌握 New API 除 Chat 之外的主力接口接口分类请求路径方法能力说明处理逻辑 Realtime/v1/realtimeWebSocket实时语音/多模态对话relay/websocket.go️ 图像生成/v1/images/generationsPOST文生图relay/image_handler.go✏️ 图像编辑/v1/images/edits、/v1/editsPOST图片改图relay/image_handler.go️ 语音合成/v1/audio/speechPOST文本转语音TTSrelay/audio_handler.go 语音识别/v1/audio/transcriptionsPOST语音转文本ASRrelay/audio_handler.go 语音翻译/v1/audio/translationsPOST语音转译为英文relay/audio_handler.go Rerank/v1/rerankPOST检索结果重排序relay/rerank_handler.go 向量嵌入/v1/embeddingsPOST文本向量化relay/embedding_handler.go这些路由统一在 router/relay-router.go 中注册全部复用middleware.TokenAuth()鉴权与middleware.Distribute()渠道分发。三、Realtime 实时对话接口1. 它解决什么问题/v1/realtime走的是WebSocketWSS长连接适合边说边听的低延迟场景智能语音助手、实时字幕、语音 Agent 等。相比 HTTP 一问一答Realtime 能持续双向推送交互更自然。2. 调用方式wscat -c wss://你的New-API地址/v1/realtime -H Authorization: Bearer 你的APIKey连接建立后网关会调用适配层完成握手并把事件流透传回客户端。核心逻辑在 relay/websocket.go 的WssHelper通过GetAdaptor(info.ApiType)找到对应渠道适配器DoRequest建立目标 WebSocketDoResponse处理事件流会话结束时调用PostWssConsumeQuota按RealtimeUsage统一扣费。 优势客户端只需连一次网关即可在多种厂商的实时能力间自由切换。四、图像生成与编辑接口1. 文生图/v1/images/generations采用OpenAI 图像协议可直接复现官方dall·e风格的调用习惯curl https://你的New-API地址/v1/images/generations \ -H Authorization: Bearer 你的APIKey \ -H Content-Type: application/json \ -d {model:模型名,prompt:一只戴帽子的柴犬,n:1,size:1024x1024}2. 图像编辑/v1/images/edits与/v1/edits支持基于已有图片做局部修改、风格迁移。处理流程同样收敛在 relay/image_handler.go 的ImageHelper请求体统一封装为dto.ImageRequest支持透传模式PassThroughRequestEnabled或协议转换两种通道计费时区分图像 Token 与文本 Token分别走PostImageConsumeQuota/PostTextConsumeQuota。这样无论后端接的是哪家图像厂商客户端都只面向同一套 OpenAI 图像协议。五、音频接口合成、识别与翻译New API 把音频拆成三个清晰的能力点全部位于 relay/audio_handler.go场景路径说明文字 → 语音/v1/audio/speech生成音频流常用于有声内容、语音播报语音 → 文字/v1/audio/transcriptions会议转写、字幕生成语音 → 英文文字/v1/audio/translations外语录音转写为标准英文调用示例TTScurl https://你的New-API地址/v1/audio/speech \ -H Authorization: Bearer 你的APIKey \ -H Content-Type: application/json \ -d {model:模型名,input:你好我是 New API,voice:alloy}计费逻辑见 relay/audio_handler.go很贴心只要请求里含有音频 Token就按音频计费否则回落按文本计费避免多模态请求被误算。六、Rerank 重排序接口在RAG检索增强生成场景里向量召回的 Top-K 往往够多但不够准。/v1/rerank就是对召回结果做语义重排序把最相关的片段排到最前直接提升回答质量。核心逻辑在 relay/rerank_handler.go请求体封装为dto.RerankRequest支持透传或协议转换两种方式转发到下游支持跨厂商——无论接入的是哪家 Rerank 模型客户端都用同一套请求格式。 典型链路Embedding 向量化 → 向量库召回 → Rerank 重排 → LLM 生成四个接口在 New API 里被串成一条完整 RAG 流水线。七、统一的鉴权、分发与计费进阶接口最大的价值是它们共享同一套网关机制这也是 New API 区别于简单代理的地方统一鉴权所有接口经middleware.TokenAuth()校验 API Key无需为每种模态单独配置密钥智能分发middleware.Distribute()按分组、权重、渠道状态挑选上游统一计费文本 / 图像 / 音频 / 实时分别走PostTextConsumeQuota、PostImageConsumeQuota、PostAudioConsumeQuota、PostWssConsumeQuota账单一目了然⚙️状态码映射service.ResetStatusCode会把上游错误码统一转成标准响应客户端处理更省心。这意味着新增一种厂商能力只需实现对应适配器其余鉴权、限流、计费、日志全部复用。八、相关源码导航 想深入某块能力可从这些入口快速定位路由总入口router/relay-router.goRealtime 握手relay/websocket.go图像处理relay/image_handler.go音频处理relay/audio_handler.goRerank 处理relay/rerank_handler.go向量嵌入relay/embedding_handler.go转发表达式relaykit/types/relay_format.go渠道类型常量constant/channel.go九、小结New API 不只是一个 Chat Completions 网关。它把Realtime 实时对话、图像生成与编辑、音频合成/识别/翻译、Rerank 重排序、Embedding 向量化等进阶接口统一收口到一套 OpenAI 风格协议下并共享鉴权、分发、计费、日志等网关能力。对个人开发者它降低了多模态接入成本对企业团队它提供了集中式模型管理与分发的底座。如果你正在搭建 RAG、语音助手或多模态应用不妨把 New API 作为统一网关层来考虑——一个入口打通所有模态。【免费下载链接】new-apiA unified AI model hub for aggregation distribution. It supports cross-converting various LLMs into OpenAI-compatible, Claude-compatible, or Gemini-compatible formats. A centralized gateway for personal and enterprise model management.项目地址: https://gitcode.com/gh_mirrors/ne/new-api创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考