第 21-1 篇:/v1/chat/completions——兼容协议的最小面

发布时间:2026/11/23 7:29:37

第 21-1 篇:/v1/chat/completions——兼容协议的最小面 上一篇20-3《SSE 流式——响应怎么写一半就发给客户端》下一篇21-2《对话模板与角色注入》真机实测通过本文实验已在 RK3588 板端实测完成2026-09方法学与原始记录见仓库 docs 与《实验脚本》目录一句话导读OpenAI 兼容的最小面怎么定先声明实现哪些字段、其余忽略或明确拒绝messages 必填与 400 分支、被尊重与被忽略的字段用板端实测逐一摊开。关键词chat/completions、OpenAI 兼容、兼容最小面、推理引擎、RK3588Day 20 把 HTTP 传输层与路由讲完。Day 21 进业务层让引擎能冒充 OpenAI 的/v1/chat/completions。这篇讲兼容的最小面——不是把 OpenAI 的全部参数搬过来而是搬够用且诚实的一小撮并用板端实测把哪些字段被尊重、哪些被忽略、哪里会 400摊开。1. 知识点兼容协议是接口契约不是功能对赌OpenAI 的 chat/completions 请求字段很多temperature/top_p/max_tokens/n/stream/tools/…。对推理引擎而言每个字段背后都是一段采样/调度/协议逻辑——支持 n1 意味着要改批处理面支持 tools 意味着要引入函数调用。一个小引擎的正确姿势是先声明自己实现了哪些字段其余字段要么忽略要么明确拒绝而不是假装全兼容。引擎的实际最小面vllm_server.c2014–2042 行逐字段读取请求字段类型处理messages数组必填缺失 →400 messages array is required20-2 实测max_tokensnumber生成长度上限读进后参与调度/截断finish_reason:lengthtemperaturenumber采样温度无值时用默认top_pnumbernucleus 采样streambooltrue 走 SSE20-3 实测modelstring只作回显标签未指定时回qwen3-vl-8b默认串见 2239 行响应里的自家扩展要单独说明history_tokens2593 行服务端回显会话 token 流与 SSE 的metrics/tokens事件——它们是非 OpenAI 标准字段客户端不认识就跳过本系列刻意保留它们是为了让测试能对着 token 验证而不是让生态依赖它。2. 对应代码一个 chat 请求的生命周期沿 Day 15 主循环的路径服务层再看一遍全链POST /v1/chat/completions → 自研 JSON 解析vllm_http.c VJson → 字段映射vllm_server.c 2014-2042messages/temp/top_p/max_tokens/stream → 多模态? detect_media19-2: 纯文本 qwen_tokenizer_encode → 前缀复用判定 → prefill → decode 循环逐 token / SSE → 组装 OpenAI 形状响应choices[0].message.roleassistant … → 附 history_tokens / metrics自家扩展注意messages的裁剪2083–2084 行超长时按行clipped——兼容层还要管上下文太长怎么办这是它比转发器多出来的部分。3. 改动后果参数被尊重与被忽略的实证实测口径板端 serve模型已加载 x86 客户端2026-09-07。全部请求max_tokens限制 history_tokens回显验证。① messages 缺失 → 400 messages array is required 最严 ② temperature0.0 的请求 → 200确定性采样方向 被尊重 ③ stream:false → 200 整包 JSON含 choices[0].message ④ stream:true → SSE 流20-3 已实测 ⑤ 未知字段如 n3 → 200未解析即忽略不报错 宽容 ⑥ roleuserr → 200角色按字面 token 化20-2 已实测给前端/测试的两个铁律测试兼容性别只看 200——要看choices/delta结构加字段前先看它会不会被静默忽略n3会被当成 1 处理这个在文档里要写明避免调用方以为拿到了 3 条候选。4. 学员调试任务A 档本地动手对着 §1 表逐字段发请求temperature:0、top_p:0.1、max_tokens:3看finish_reason:length、stream:true看事件序列、n:3看是否被忽略把messages传成{}与[]各看一次返回。B 档纯读源码读vllm_server.c2000–2100 与 2580–2600回答①messages裁剪2083发生在哪个阶段、为什么裁剪要保留首条 system 消息②history_tokens2593在什么条件下写入响应、它是prompt tokens还是含生成 token 的全序列用你 21-1 实测的一轮对比③ 若你要加seed字段支持固定随机种子需要动哪几处解析 → 采样器 → 文档预期输出一张参数 × 行为实测表并能解释为什么n3这类字段会 200 但没实现是兼容层的诚实设计而非 bug。收尾本篇源码点名vllm_server.c字段映射 2014–2042、history_tokens 2593、模型 id 回显 2239开源仓库Kestrel-LLM (Gitee)AGPL-3.0-or-later 或商业许可二选一下篇预告字段映射完messages里的 system/user/assistant 怎么变成模型真正看到的 prompt21-2 讲对话模板与角色注入——|im_start|那套标记是谁拼的、拼错会怎样。
延伸阅读

更多相关文章

2026/11/23 7:29:36

Atlas 300V 24G推理加速卡上部署YOLO全流程指南

先说结论:Atlas 300V 24G 是一块不折不扣的 AI 运算加速卡,而且是一块很典型的 推理加速卡 ,不是拿来训模型的训练卡。最近群里好几个朋友都在问这个卡能不能跑 YOLO,答案当然能,而且上手之后你会发现,在…

2026/11/20 0:35:56

2.4 首次引导与配置加载:setup.ts 与配置系统接入 TaoToken 实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/11/23 3:42:05

临床研究选题没思路?拆解柳叶刀子刊高分论文的切入点与操作路径

朋友圈今天早上又被一篇柳叶刀子刊刷屏了。8.1分,中国团队,通讯作者是国内某大三甲的主任。说实话,8分这个段位在医学领域不算顶破天,但评论区里大家的关注点几乎都落在同一句话上——“这个切入点有点意思”。这些年我帮人审稿、…

2026/11/23 7:24:42

电工证上岗必备:湖州安监局电工证报考避坑指南

电工证上岗必备:湖州安监局电工证报考避坑指南 你是不是正在为湖州安监局电工证发愁,不知道去哪报名,怕被中介坑?别急,这篇内容专为一线电工、准备报考电工证的朋友量身打造,帮你避开报名坑,搞定上岗必备的电工证。…

2026/11/23 7:24:41

水电安装工是特种工吗?保姆级教程教你复审延期全流程

水电安装工是特种工吗?保姆级教程教你复审延期全流程 证书过期了不知道怎么复审延期?别慌,这篇保姆级教程从实操角度帮你搞定!作为郑州转岗从业者,我深知特种作业操作证对于职业发展的重要性。尤其是水电安装工,很多人误以为不需要特种作业证,实际上根…

2026/11/23 7:24:41

恐高可以考电工证吗通过率揭秘你别被中介忽悠了

恐高可以考电工证吗通过率揭秘你别被中介忽悠了 你怕被中介坑,怕报名流程复杂,怕证书没用,怕考试不过,这些我们都懂。特别是像你这样,可能 恐高 ,但又想考 电工证 ,心里总有疑问—— 恐高可以考电工证吗 ?别急,咱们今天就 揭秘电工证通过率…

2026/11/23 7:24:41

嵩明电工证在哪里办理怎么考才不白交培训费

嵩明电工证在哪里办理怎么考才不白交培训费 怕考不过白交培训费?嵩明电工证在哪里办理?这可能是你最关心的问题,特别是如果你已经报了名,却又担心自己能不能顺利通过。别急,本文会告诉你怎么利用【考前押题】提高通过率,还有一手报考干货,帮你少走弯路…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/23 2:38:11

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/23 0:26:19

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/23 0:01:38

南宁哪里可以学电工证值不值得考?怕被中介坑?看这篇就够了

南宁哪里可以学电工证值不值得考?怕被中介坑?看这篇就够了 不知道去哪报名怕被中介坑?南宁哪里可以学电工证值不值得考?这是很多想考电工证的朋友最关心的问题。现实中,不少人在选择培训机构时被各种五花八门的广告信息搞得晕头转向,甚至被坑了钱还没拿…

2026/11/23 0:01:38

建设局特种工证怎么查全国通用的复审流程

建设局特种工证怎么查全国通用的复审流程 证书过期了不知道怎么复审延期,这是很多特种作业从业者常遇到的问题。尤其是在洛阳涧西区从事水利工程工作的你,特种作业操作证不仅是上岗的“通行证”,更是保障安全作业的法律底线。如果操作证过期了,不仅影响工…

2026/11/23 0:01:38

电工证跨考政策值不值得考?学历不高也能考的真相

电工证跨考政策值不值得考?学历不高也能考的真相 你是不是也觉得学历不够,报电工证怕被拒?别急,国家安全生产考试网明文规定, 电工证跨考政策 对学历门槛没有硬性限制,只要你年满18岁,身体健康,能通过实操考试,就能报考。关键是, 值不值得考…

2026/11/22 9:39:14

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/22 5:39:03

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑