简介这是一套面向物联网视频监控开发者的AI系统资源包遵循GB28181国家标准聚焦智能视频分析与设备互联场景适合具备Java与Vue基础、希望搭建智能监控平台的中高级开发者参考学习。压缩包共约2000个文件整体50.33MB以1479个Java后端源码、346个Vue前端页面为主辅以72个XML配置、36个JSON与32个YAML参数文件另有少量CSS、SQL、JS及说明文档覆盖iot-device、iot-system、iot-stream、iot-things、iot-infra等模块并含pom.xml依赖管理与readme说明。资源将AI算法与流媒体处理结合可用于人脸识别、行为分析、异常事件检测等功能的二次开发。目前已有465人学习下载便于读者快速理解项目分层结构、复用模块代码并搭建符合国标的智能监控应用。1. LF-AI-STREAM-AI人工智能资源从零搭一条能跑通的流式推理链路你搜到 LF-AI-STREAM-AI人工智能资源这个词大概率不是想找一份“人工智能导论”的课件而是想找一套能直接跑起来的东西——把模型推理做成流式输出边生成边返回前端不用等整段结果。这件事在人工智能项目实战里非常常见聊天机器人、代码补全、实时翻译、语音助手只要涉及“打字机效果”背后都是流式推理。LF-AI-STREAM-AI 这个命名拆开看LF 通常是轻量或低延迟的缩写AI-STREAM 指向流式处理AI 资源则说明它是一套可复用的工程资产而不是单篇论文。它适合两类人一是手里有模型但输出卡顿、想改成流式的工程师二是刚入门人工智能、想找一个完整链路练手的开发者。下面按“先跑通最小链路再调参数最后避坑”的顺序讲。2. 流式推理到底在流什么从请求到首 token 的完整链路2.1 非流式与流式的本质差别非流式推理的流程是客户端发一个请求服务端把 prompt 喂给模型模型生成完整序列服务端一次性返回 JSON。用户看到的是空白等待然后整段文字突然出现。流式推理把“生成”和“返回”拆开模型每生成一个 token 或一小段 token服务端就通过 SSEServer-Sent Events或 WebSocket 推给客户端客户端逐段渲染。核心差别不在模型本身而在服务端的输出缓冲策略和客户端的读取方式。我一般把流式链路分成四层接入层负责协议转换推理层负责调用模型缓冲层负责控制推送节奏渲染层负责前端逐字显示。LF-AI-STREAM-AI 这类资源的价值就是把四层之间的接口约定清楚让你换模型、换前端时不用重写整条链路。2.2 最小可跑通的流式服务端先不引入任何框架用 Python 标准库加一个推理后端把 SSE 跑通。下面这段代码假设你本地已经有一个能逐 token 输出的模型接口比如 transformers 的TextIteratorStreamer。# stream_server.py # 最小 SSE 流式服务端不依赖 Web 框架 import json import time from http.server import BaseHTTPRequestHandler, HTTPServer class StreamHandler(BaseHTTPRequestHandler): def do_POST(self): # 读取请求体中的 prompt length int(self.headers.get(Content-Length, 0)) body json.loads(self.rfile.read(length) or b{}) prompt body.get(prompt, 你好) # 设置 SSE 响应头 self.send_response(200) self.send_header(Content-Type, text/event-stream; charsetutf-8) self.send_header(Cache-Control, no-cache) self.send_header(Connection, keep-alive) self.end_headers() # 模拟逐 token 生成实际替换为模型 streamer for token in self.fake_model_stream(prompt): data json.dumps({token: token}, ensure_asciiFalse) # SSE 格式data: 内容\n\n self.wfile.write(fdata: {data}\n\n.encode(utf-8)) self.wfile.flush() # 关键立即刷出否则会攒批 time.sleep(0.05) # 结束标记 self.wfile.write(bdata: [DONE]\n\n) self.wfile.flush() def fake_model_stream(self, prompt): # 这里替换成真实模型的逐 token 输出 for ch in f收到{prompt}。这是流式返回的示例。: yield ch if __name__ __main__: HTTPServer((0.0.0.0, 8000), StreamHandler).serve_forever()逻辑说明do_POST里先读 prompt然后立刻发送 SSE 响应头。Content-Type必须是text/event-stream否则浏览器不会按事件流处理。每次写入后调用self.wfile.flush()是流式能否生效的关键很多“伪流式”翻车就翻在这里——数据被 Python 的缓冲攒住客户端等到最后才收到。fake_model_stream用字符模拟 token真实场景换成TextIteratorStreamer的__next__即可。参数说明time.sleep(0.05)控制推送间隔真实模型不需要这个它由生成速度决定。[DONE]是 OpenAI 风格的结束标记前端据此关闭连接。端口 8000 可改但要注意和前端代理配置一致。2.3 客户端怎么接fetch 读取流与逐字渲染浏览器端不能用普通的fetch().then(res res.json())那样会等完整响应。要用response.body.getReader()逐块读取。// stream_client.js // 浏览器端读取 SSE 流并逐字渲染 async function streamChat(prompt, onToken) { const resp await fetch(http://localhost:8000, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify({ prompt }) }); const reader resp.body.getReader(); const decoder new TextDecoder(utf-8); let buffer ; while (true) { const { done, value } await reader.read(); if (done) break; buffer decoder.decode(value, { stream: true }); // 按 SSE 双换行切分事件 const parts buffer.split(\n\n); buffer parts.pop(); // 最后一段可能不完整留到下次 for (const part of parts) { if (!part.startsWith(data: )) continue; const payload part.slice(6); if (payload [DONE]) return; const { token } JSON.parse(payload); onToken(token); // 回调里做 DOM 追加 } } }逻辑说明decoder.decode(value, { stream: true })的stream: true很重要它保证多字节 UTF-8 字符被正确拼接否则中文会出现乱码。buffer用来处理“一个事件被拆到两次 read”的情况这是流式解析最常见的边界问题。onToken回调里通常执行element.textContent token就得到打字机效果。参数说明split(\n\n)对应 SSE 的事件分隔符如果你的服务端用\r\n\r\n这里要相应调整。parts.pop()保留最后不完整片段不能省略。3. 把 LF-AI-STREAM-AI 资源接进真实模型选型与参数调优3.1 推理后端选型本地模型、API 与混合模式流式链路搭好后下一步是决定 token 从哪来。常见做法有三种。第一种是本地模型用 transformers 或 llama.cpp优点是数据不出机器缺点是首 token 延迟受显存和量化影响大。第二种是调用远程推理 API优点是省去部署缺点是网络抖动会直接反映在流式体验上。第三种是混合简单请求走本地小模型复杂请求走远程大模型LF-AI-STREAM-AI 这类资源通常会把路由层单独抽出来。我一般按“首 token 延迟”和“token 间延迟”两个指标选。首 token 延迟决定用户按下回车后多久看到第一个字token 间延迟决定打字机是否流畅。本地 7B 量化模型在消费级显卡上首 token 延迟约 200 到 500 毫秒token 间延迟 30 到 80 毫秒。远程 API 的首 token 延迟波动大但 token 间延迟通常更稳。3.2 三个必调参数max_tokens、temperature、stream buffer流式场景下参数设置和非流式有区别。下面这张表是我在实际项目里反复调过的组合。参数非流式常用值流式推荐值影响max_tokens5121024 或按需太小会截断流式下截断更突兀temperature0.70.6 到 0.8流式逐字暴露过高会显得跳跃top_p0.90.9与 temperature 二选一调服务端 flush 间隔不适用每 token 或每 2 到 3 token太频繁增加开销太慢失去流式意义客户端渲染节流不适用16 到 32 毫秒对齐屏幕刷新避免 DOM 抖动max_tokens在流式下建议留足因为用户看到一半被切断的挫败感比等待更强。temperature在流式下可以略降逐字出现时高温度带来的随机跳变会被放大感知。服务端 flush 不必每个 token 都做可以攒 2 到 3 个 token 再推减少网络包数量但首 token 必须立即 flush。3.3 用 streamer 替换模拟生成把第 2 章的fake_model_stream换成真实模型以 transformers 为例。# real_stream.py # 用 TextIteratorStreamer 接入真实模型 from threading import Thread from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer model_name your-local-model # 替换为实际模型路径 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name, device_mapauto) def model_stream(prompt, max_new_tokens512): inputs tokenizer(prompt, return_tensorspt).to(model.device) streamer TextIteratorStreamer( tokenizer, skip_promptTrue, # 不重复输出 prompt skip_special_tokensTrue ) generation_kwargs dict( **inputs, streamerstreamer, max_new_tokensmax_new_tokens, temperature0.7, do_sampleTrue ) # 生成必须放在单独线程主线程才能迭代 streamer thread Thread(targetmodel.generate, kwargsgeneration_kwargs) thread.start() for text in streamer: yield text逻辑说明TextIteratorStreamer是一个队列model.generate在后台线程往里放 token主线程迭代取出。skip_promptTrue避免把用户输入再吐一遍。do_sampleTrue配合temperature才生效否则温度参数被忽略。参数说明max_new_tokens控制生成长度流式下建议不低于 256。device_mapauto让 transformers 自动分配显卡多卡时省心。如果显存紧张加载模型时加load_in_4bitTrue但要注意量化会轻微影响输出质量。4. 流式链路的避坑与排查那些让首 token 迟迟不来的原因4.1 现象客户端等到最后才一次性显示原因服务端没有 flush或者用了会缓冲的中间件。Python 的wfile默认带缓冲不调flush()就会攒批。Nginx 反代时默认也会缓冲 SSE需要关掉。解决服务端每次 write 后 flushNginx 配置里加proxy_buffering off;和proxy_cache off;并把proxy_read_timeout调大。如果用了 Gunicorn注意 worker 的--timeout要大于最长生成时间。4.2 现象中文逐字出现乱码或半个字原因UTF-8 是多字节编码一个汉字占 3 字节如果服务端按字节切分推送客户端按块解码就会断在字符中间。解决服务端按完整 token 或完整字符串推送不要按字节切。客户端用TextDecoder时加{ stream: true }让解码器自己处理跨块的多字节字符。这个坑在人工智能学习路径里很少有人讲但实际做流式必踩。4.3 现象首 token 延迟很高但后续很快原因首 token 延迟主要花在 prompt 编码和 KV Cache 初始化上。prompt 越长首 token 越慢。另外模型第一次加载、CUDA 核编译也会拖慢首次请求。解决控制 prompt 长度把系统提示词做缓存服务启动后先跑一次预热请求把 CUDA 核编译和显存分配提前完成。如果用的是远程 API检查是否开启了 prompt caching。4.4 现象并发几个请求后流式卡顿甚至断流原因单个模型实例同时处理多个生成任务时显存和计算资源被争抢token 间延迟飙升。SSE 连接长时间无数据会被中间层断开。解决推理层加队列限制并发生成数或者用 vLLM 这类支持连续批处理的框架。SSE 心跳不能少每隔 15 到 30 秒发一个注释行: keep-alive\n\n防止连接被判定为空闲。4.5 现象前端渲染抖动文字忽快忽慢原因token 到达不均匀加上每次 DOM 操作都触发重排视觉上就不流畅。解决客户端做渲染节流用requestAnimationFrame或 16 毫秒定时器攒一批 token 再更新 DOM。不要每个 token 都直接改innerHTML用textContent追加减少重排。5. 进阶用背压控制和多路复用把流式做稳流式链路跑通后真正拉开差距的是稳定性。我踩过最深的坑是客户端消费慢导致服务端内存涨——生成速度快于网络发送速度token 在服务端队列里堆积。解决办法是加背压服务端维护一个有限队列队列满时暂停生成线程等客户端消费后再恢复。transformers 的 streamer 本身是队列可以设timeout但更稳的做法是在生成循环里检查队列长度。另一个进阶技巧是多路复用。一个页面可能同时有多个流式请求比如主对话加侧边摘要。用 HTTP/2 或 WebSocket 单连接多路复用比开多个 SSE 连接更省资源。WebSocket 的好处是双向客户端可以中途发取消指令服务端收到后停止生成省算力。验证流式是否真的流式我一般用curl加-N参数看输出节奏# -N 关闭 curl 自身缓冲观察数据到达节奏 curl -N -X POST http://localhost:8000 \ -H Content-Type: application/json \ -d {prompt:测试流式}如果输出是一行一行间隔出现说明流式生效如果停顿很久后整段出现回去检查 flush 和反代缓冲。这个命令是我排查流式问题的第一手段比看日志快。最后说个习惯我每次改完流式链路都会用秒表记两个数——首 token 时间和总生成时间。首 token 超过 1 秒就要查 prompt 长度和预热总生成时间异常就查并发和队列。这两个数比任何监控面板都直接。希望帮到你。本文还有配套的精品资源点击获取
简介这是一套面向物联网视频监控开发者的AI系统资源包遵循GB28181国家标准聚焦智能视频分析与设备互联场景适合具备Java与Vue基础、希望搭建智能监控平台的中高级开发者参考学习。压缩包共约2000个文件整体50.33MB以1479个Java后端源码、346个Vue前端页面为主辅以72个XML配置、36个JSON与32个YAML参数文件另有少量CSS、SQL、JS及说明文档覆盖iot-device、iot-system、iot-stream、iot-things、iot-infra等模块并含pom.xml依赖管理与readme说明。资源将AI算法与流媒体处理结合可用于人脸识别、行为分析、异常事件检测等功能的二次开发。目前已有465人学习下载便于读者快速理解项目分层结构、复用模块代码并搭建符合国标的智能监控应用。1. LF-AI-STREAM-AI人工智能资源从零搭一条能跑通的流式推理链路你搜到 LF-AI-STREAM-AI人工智能资源这个词大概率不是想找一份“人工智能导论”的课件而是想找一套能直接跑起来的东西——把模型推理做成流式输出边生成边返回前端不用等整段结果。这件事在人工智能项目实战里非常常见聊天机器人、代码补全、实时翻译、语音助手只要涉及“打字机效果”背后都是流式推理。LF-AI-STREAM-AI 这个命名拆开看LF 通常是轻量或低延迟的缩写AI-STREAM 指向流式处理AI 资源则说明它是一套可复用的工程资产而不是单篇论文。它适合两类人一是手里有模型但输出卡顿、想改成流式的工程师二是刚入门人工智能、想找一个完整链路练手的开发者。下面按“先跑通最小链路再调参数最后避坑”的顺序讲。2. 流式推理到底在流什么从请求到首 token 的完整链路2.1 非流式与流式的本质差别非流式推理的流程是客户端发一个请求服务端把 prompt 喂给模型模型生成完整序列服务端一次性返回 JSON。用户看到的是空白等待然后整段文字突然出现。流式推理把“生成”和“返回”拆开模型每生成一个 token 或一小段 token服务端就通过 SSEServer-Sent Events或 WebSocket 推给客户端客户端逐段渲染。核心差别不在模型本身而在服务端的输出缓冲策略和客户端的读取方式。我一般把流式链路分成四层接入层负责协议转换推理层负责调用模型缓冲层负责控制推送节奏渲染层负责前端逐字显示。LF-AI-STREAM-AI 这类资源的价值就是把四层之间的接口约定清楚让你换模型、换前端时不用重写整条链路。2.2 最小可跑通的流式服务端先不引入任何框架用 Python 标准库加一个推理后端把 SSE 跑通。下面这段代码假设你本地已经有一个能逐 token 输出的模型接口比如 transformers 的TextIteratorStreamer。# stream_server.py # 最小 SSE 流式服务端不依赖 Web 框架 import json import time from http.server import BaseHTTPRequestHandler, HTTPServer class StreamHandler(BaseHTTPRequestHandler): def do_POST(self): # 读取请求体中的 prompt length int(self.headers.get(Content-Length, 0)) body json.loads(self.rfile.read(length) or b{}) prompt body.get(prompt, 你好) # 设置 SSE 响应头 self.send_response(200) self.send_header(Content-Type, text/event-stream; charsetutf-8) self.send_header(Cache-Control, no-cache) self.send_header(Connection, keep-alive) self.end_headers() # 模拟逐 token 生成实际替换为模型 streamer for token in self.fake_model_stream(prompt): data json.dumps({token: token}, ensure_asciiFalse) # SSE 格式data: 内容\n\n self.wfile.write(fdata: {data}\n\n.encode(utf-8)) self.wfile.flush() # 关键立即刷出否则会攒批 time.sleep(0.05) # 结束标记 self.wfile.write(bdata: [DONE]\n\n) self.wfile.flush() def fake_model_stream(self, prompt): # 这里替换成真实模型的逐 token 输出 for ch in f收到{prompt}。这是流式返回的示例。: yield ch if __name__ __main__: HTTPServer((0.0.0.0, 8000), StreamHandler).serve_forever()逻辑说明do_POST里先读 prompt然后立刻发送 SSE 响应头。Content-Type必须是text/event-stream否则浏览器不会按事件流处理。每次写入后调用self.wfile.flush()是流式能否生效的关键很多“伪流式”翻车就翻在这里——数据被 Python 的缓冲攒住客户端等到最后才收到。fake_model_stream用字符模拟 token真实场景换成TextIteratorStreamer的__next__即可。参数说明time.sleep(0.05)控制推送间隔真实模型不需要这个它由生成速度决定。[DONE]是 OpenAI 风格的结束标记前端据此关闭连接。端口 8000 可改但要注意和前端代理配置一致。2.3 客户端怎么接fetch 读取流与逐字渲染浏览器端不能用普通的fetch().then(res res.json())那样会等完整响应。要用response.body.getReader()逐块读取。// stream_client.js // 浏览器端读取 SSE 流并逐字渲染 async function streamChat(prompt, onToken) { const resp await fetch(http://localhost:8000, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify({ prompt }) }); const reader resp.body.getReader(); const decoder new TextDecoder(utf-8); let buffer ; while (true) { const { done, value } await reader.read(); if (done) break; buffer decoder.decode(value, { stream: true }); // 按 SSE 双换行切分事件 const parts buffer.split(\n\n); buffer parts.pop(); // 最后一段可能不完整留到下次 for (const part of parts) { if (!part.startsWith(data: )) continue; const payload part.slice(6); if (payload [DONE]) return; const { token } JSON.parse(payload); onToken(token); // 回调里做 DOM 追加 } } }逻辑说明decoder.decode(value, { stream: true })的stream: true很重要它保证多字节 UTF-8 字符被正确拼接否则中文会出现乱码。buffer用来处理“一个事件被拆到两次 read”的情况这是流式解析最常见的边界问题。onToken回调里通常执行element.textContent token就得到打字机效果。参数说明split(\n\n)对应 SSE 的事件分隔符如果你的服务端用\r\n\r\n这里要相应调整。parts.pop()保留最后不完整片段不能省略。3. 把 LF-AI-STREAM-AI 资源接进真实模型选型与参数调优3.1 推理后端选型本地模型、API 与混合模式流式链路搭好后下一步是决定 token 从哪来。常见做法有三种。第一种是本地模型用 transformers 或 llama.cpp优点是数据不出机器缺点是首 token 延迟受显存和量化影响大。第二种是调用远程推理 API优点是省去部署缺点是网络抖动会直接反映在流式体验上。第三种是混合简单请求走本地小模型复杂请求走远程大模型LF-AI-STREAM-AI 这类资源通常会把路由层单独抽出来。我一般按“首 token 延迟”和“token 间延迟”两个指标选。首 token 延迟决定用户按下回车后多久看到第一个字token 间延迟决定打字机是否流畅。本地 7B 量化模型在消费级显卡上首 token 延迟约 200 到 500 毫秒token 间延迟 30 到 80 毫秒。远程 API 的首 token 延迟波动大但 token 间延迟通常更稳。3.2 三个必调参数max_tokens、temperature、stream buffer流式场景下参数设置和非流式有区别。下面这张表是我在实际项目里反复调过的组合。参数非流式常用值流式推荐值影响max_tokens5121024 或按需太小会截断流式下截断更突兀temperature0.70.6 到 0.8流式逐字暴露过高会显得跳跃top_p0.90.9与 temperature 二选一调服务端 flush 间隔不适用每 token 或每 2 到 3 token太频繁增加开销太慢失去流式意义客户端渲染节流不适用16 到 32 毫秒对齐屏幕刷新避免 DOM 抖动max_tokens在流式下建议留足因为用户看到一半被切断的挫败感比等待更强。temperature在流式下可以略降逐字出现时高温度带来的随机跳变会被放大感知。服务端 flush 不必每个 token 都做可以攒 2 到 3 个 token 再推减少网络包数量但首 token 必须立即 flush。3.3 用 streamer 替换模拟生成把第 2 章的fake_model_stream换成真实模型以 transformers 为例。# real_stream.py # 用 TextIteratorStreamer 接入真实模型 from threading import Thread from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStreamer model_name your-local-model # 替换为实际模型路径 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name, device_mapauto) def model_stream(prompt, max_new_tokens512): inputs tokenizer(prompt, return_tensorspt).to(model.device) streamer TextIteratorStreamer( tokenizer, skip_promptTrue, # 不重复输出 prompt skip_special_tokensTrue ) generation_kwargs dict( **inputs, streamerstreamer, max_new_tokensmax_new_tokens, temperature0.7, do_sampleTrue ) # 生成必须放在单独线程主线程才能迭代 streamer thread Thread(targetmodel.generate, kwargsgeneration_kwargs) thread.start() for text in streamer: yield text逻辑说明TextIteratorStreamer是一个队列model.generate在后台线程往里放 token主线程迭代取出。skip_promptTrue避免把用户输入再吐一遍。do_sampleTrue配合temperature才生效否则温度参数被忽略。参数说明max_new_tokens控制生成长度流式下建议不低于 256。device_mapauto让 transformers 自动分配显卡多卡时省心。如果显存紧张加载模型时加load_in_4bitTrue但要注意量化会轻微影响输出质量。4. 流式链路的避坑与排查那些让首 token 迟迟不来的原因4.1 现象客户端等到最后才一次性显示原因服务端没有 flush或者用了会缓冲的中间件。Python 的wfile默认带缓冲不调flush()就会攒批。Nginx 反代时默认也会缓冲 SSE需要关掉。解决服务端每次 write 后 flushNginx 配置里加proxy_buffering off;和proxy_cache off;并把proxy_read_timeout调大。如果用了 Gunicorn注意 worker 的--timeout要大于最长生成时间。4.2 现象中文逐字出现乱码或半个字原因UTF-8 是多字节编码一个汉字占 3 字节如果服务端按字节切分推送客户端按块解码就会断在字符中间。解决服务端按完整 token 或完整字符串推送不要按字节切。客户端用TextDecoder时加{ stream: true }让解码器自己处理跨块的多字节字符。这个坑在人工智能学习路径里很少有人讲但实际做流式必踩。4.3 现象首 token 延迟很高但后续很快原因首 token 延迟主要花在 prompt 编码和 KV Cache 初始化上。prompt 越长首 token 越慢。另外模型第一次加载、CUDA 核编译也会拖慢首次请求。解决控制 prompt 长度把系统提示词做缓存服务启动后先跑一次预热请求把 CUDA 核编译和显存分配提前完成。如果用的是远程 API检查是否开启了 prompt caching。4.4 现象并发几个请求后流式卡顿甚至断流原因单个模型实例同时处理多个生成任务时显存和计算资源被争抢token 间延迟飙升。SSE 连接长时间无数据会被中间层断开。解决推理层加队列限制并发生成数或者用 vLLM 这类支持连续批处理的框架。SSE 心跳不能少每隔 15 到 30 秒发一个注释行: keep-alive\n\n防止连接被判定为空闲。4.5 现象前端渲染抖动文字忽快忽慢原因token 到达不均匀加上每次 DOM 操作都触发重排视觉上就不流畅。解决客户端做渲染节流用requestAnimationFrame或 16 毫秒定时器攒一批 token 再更新 DOM。不要每个 token 都直接改innerHTML用textContent追加减少重排。5. 进阶用背压控制和多路复用把流式做稳流式链路跑通后真正拉开差距的是稳定性。我踩过最深的坑是客户端消费慢导致服务端内存涨——生成速度快于网络发送速度token 在服务端队列里堆积。解决办法是加背压服务端维护一个有限队列队列满时暂停生成线程等客户端消费后再恢复。transformers 的 streamer 本身是队列可以设timeout但更稳的做法是在生成循环里检查队列长度。另一个进阶技巧是多路复用。一个页面可能同时有多个流式请求比如主对话加侧边摘要。用 HTTP/2 或 WebSocket 单连接多路复用比开多个 SSE 连接更省资源。WebSocket 的好处是双向客户端可以中途发取消指令服务端收到后停止生成省算力。验证流式是否真的流式我一般用curl加-N参数看输出节奏# -N 关闭 curl 自身缓冲观察数据到达节奏 curl -N -X POST http://localhost:8000 \ -H Content-Type: application/json \ -d {prompt:测试流式}如果输出是一行一行间隔出现说明流式生效如果停顿很久后整段出现回去检查 flush 和反代缓冲。这个命令是我排查流式问题的第一手段比看日志快。最后说个习惯我每次改完流式链路都会用秒表记两个数——首 token 时间和总生成时间。首 token 超过 1 秒就要查 prompt 长度和预热总生成时间异常就查并发和队列。这两个数比任何监控面板都直接。希望帮到你。本文还有配套的精品资源点击获取
