【学习笔记】多模态部署：VLM、语音、视频理解（29/35）

如果说 2023-2024 是 LLM 走向成熟的两年那 2025-2026 就是多模态走向标配的两年GPT-4o 端到端语音2024→ GPT-5 全模态2025Claude 3 视觉 → Claude 4 实时图像理解Gemini 1.5 长视频 → Gemini 2.5 视频生成Qwen-VL → Qwen3-VL → Qwen3-OmniDeepSeek-VL → DeepSeek-Vision3多模态已经从加分项变成必选项。如果你做过相关工作下面这些问题应该不陌生VLMVision Language Model和普通 LLM 部署有什么区别怎么让 vLLM 跑视觉模型语音识别用 Whisper 还是 Paraformer延迟怎么压视频理解1 小时视频实际能用吗token 消耗多少GPT-4o 那种实时语音对话怎么实现读完本文你将能区分 VLM、ASR、TTS、Video-LLM 各自的架构和部署难点用 vLLM / SGLang 部署主流 VLM搭建语音对话 pipelineASR LLM TTS处理视频理解的 token 爆炸问题评估端到端多模态模型如 GPT-4o-realtime的工程成本我们开始。一、多模态的「四大场景」1.1 应用版图场景形态例子图文理解图 → 文OCR、图表分析、医学影像图文生成文 → 图DALL-E、Stable Diffusion、Midjourney语音对话音 → 音智能客服、AI 助理视频理解视频 → 文视频摘要、监控分析、电商全模态任意 → 任意GPT-4o、Gemini 2.5、Qwen-Omni本篇聚焦理解类输入多模态、输出文字——这是 LLM 工程师最常做的。1.2 多模态的工程挑战1. 输入预处理重 ── 图像 / 音频 / 视频解码 2. Token 量爆炸 ── 1 张图 ≈ 几百-几千 token 3. 显存压力大 ── KV Cache 跟着膨胀 4. 推理框架支持参差 ── 不是所有都支持 5. 延迟难控 ── 多模态 prefill 慢下面分模态深入。二、视觉语言模型VLM2.1 VLM 架构速通主流 VLM 的架构都是ViT Projector LLM图像 ↓ ViT视觉编码器── 把图像切成 patch每个 patch 一个 token ↓ Projector投影层── 把视觉 token 映射到 LLM 的 embedding 空间 ↓ 拼接 文本 token ↓ LLM标准 Transformer── 正常生成关键认知从 LLM 视角看图像就是「一段特殊的 token 序列」。所以 LLM 的所有能力in-context learning、Tool Use、推理都能白嫖到多模态——这是 VLM 路线赢得行业认同的核心原因。2.2 主流 VLM 横评2026.05模型视觉能力部署友好度价格 / 开源Claude Opus 4.7⭐⭐⭐⭐⭐API$15/MGPT-5 Vision⭐⭐⭐⭐⭐API$10/MGemini 2.5 Pro⭐⭐⭐⭐⭐API$2.5/MQwen3-VL-72B⭐⭐⭐⭐开源 ⭐Apache 2.0Qwen2.5-VL-32B⭐⭐⭐⭐开源vLLM ✓Apache 2.0InternVL3⭐⭐⭐⭐开源MITDeepSeek-VL3⭐⭐⭐开源MITLlama 4 Vision⭐⭐⭐⭐开源Llama 协议MiniCPM-V 4.0⭐⭐⭐开源 端侧Apache 2.0中文场景Qwen3-VL是当之无愧的开源王者。2.3 视觉 Token 消耗这是部署 VLM 时最常踩的坑——图像 token 远超想象模型单张图 Token 数典型GPT-4o (high detail)765Claude 4~1500Gemini 2.5~1000Qwen2.5-VL动态分辨率256 - 4000InternVL3256 - 2000举例用户上传 10 张 4K 图片问分析这些图 token 消耗~30,000 token光是视觉部分 如果还有几段长 prompt RAG 上下文 → 上下文很快爆炸优化建议主动指定较低分辨率API 大都支持业务允许的话先压缩图片监控每次请求的视觉 token 数2.4 用 vLLM 部署 VLMvLLM 0.6 全面支持主流 VLM# 部署 Qwen2.5-VL-32B vllm serve Qwen/Qwen2.5-VL-32B-Instruct \ --tensor-parallel-size 4 \ --max-model-len 32768 \ --gpu-memory-utilization 0.92 \ --limit-mm-per-prompt image10 \ # 单 prompt 最多 10 张图 --port 8000关键参数--limit-mm-per-prompt限制多模态输入数量别的参数和 LLM 部署一致调用from openai import OpenAI client OpenAI(base_urlhttp://localhost:8000/v1, api_keydummy) response client.chat.completions.create( modelQwen/Qwen2.5-VL-32B-Instruct, messages[{ role: user, content: [ {type: text, text: 这张图里有什么}, {type: image_url, image_url: {url: data:image/jpeg;base64,...}} ] }] )完全 OpenAI Vision 兼容协议第 19 篇讲过。2.5 VLM 部署的 5 个坑2.5.1 坑 1图片预处理不一致症状训练用 1024×1024 但推理传 4K效果异常。对策看模型的image_size配置客户端预处理统一2.5.2 坑 2批处理的尴尬VLM 的 batch 不像 LLM 友好——不同图片预处理时间差异巨大。对策客户端把图缩到固定尺寸服务端用 vLLM 自动批处理2.5.3 坑 3显存涨幅超预期VLM 显存 ≈ LLM 显存 × 1.3ViT Projector 图像 KV。对策KV Cache 量化限制并发图片数2.5.4 坑 4长视频 / 长 PDFPDF 转图 100 页 100 张图 ≈ 几万 token 一次性来。对策分批处理每次 5-10 页优先用文本提取OCR 文字模型2.5.5 坑 5中英文 OCR 不均衡很多开源 VLM 英文 OCR 强中文一般。对策中文场景优先 Qwen-VL / InternVL重要场景接 PaddleOCR 等专门工具补强三、语音模型ASR TTS3.1 语音对话的标准 Pipeline用户说话 ──→ ASR语音→文字 ↓ LLM 推理 ↓ TTS文字→语音 ──→ 播放这是 2024 年大多数语音助手的实现方式——三段式。但有明显问题延迟累加每段 200-500ms总计 1-2s不能处理情感、语调、打断不能做嗯嗯等填充音2024 末 OpenAI 推出GPT-4o realtime开创了端到端语音模型新范式。3.2 ASRAutomatic Speech Recognition主流 ASR模型准确率速度开源Whisper-large-v3中文 96%、英文 99%慢MITWhisper-turbo中文 95%、英文 98%快 8×MITParaformer达摩院中文 97%快开源SenseVoiceFunAudioLLM中文 97%情感识别快开源GPT-4o transcribe99%API$0.006/min实战推荐中文SenseVoice 或 Paraformer多语言Whisper-turbo极致质量GPT-4o API部署 SenseVoicefrom funasr import AutoModel model AutoModel( modeliic/SenseVoiceSmall, trust_remote_codeTrue, devicecuda:0, ) result model.generate( inputaudio.wav, cache{}, languageauto, # 自动识别语言 use_itnTrue, # 自动标点 数字归一化 ) print(result[0][text])实测延迟5 秒音频~120ms流式可降到 ~50ms。3.3 TTSText-to-Speech主流 TTS模型自然度中文速度CosyVoice 2阿里⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐中ChatTTS⭐⭐⭐⭐⭐⭐⭐⭐快F5-TTS⭐⭐⭐⭐⭐⭐⭐⭐中GPT-4o speech⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐APIElevenLabs⭐⭐⭐⭐⭐⭐⭐⭐⭐API当下开源王者CosyVoice 2——支持 zero-shot 声音克隆、多语言、情感控制。from cosyvoice.cli.cosyvoice import CosyVoice2 model CosyVoice2(pretrained_models/CosyVoice2-0.5B) # Zero-shot 声音克隆 audio model.inference_zero_shot( 你好欢迎使用语音助手, 这是一段参考音频, ref_audio.wav )3.4 端到端语音对话GPT-4o 式GPT-4o realtime 不走 ASR-LLM-TTS 三段式而是直接 audio in → audio out音频输入 → audio tokens → 同一个 Transformer → audio tokens → 音频输出优势延迟超低 320ms保留情感、语调可被打断听得懂嗯、啊等填充音开源跟进Qwen3-Omni阿里 2026 推出全模态 端到端GLM-4-Voice智谱端到端语音Step-Audio阶跃星辰部署 Qwen3-Omnivllm serve Qwen/Qwen3-Omni-7B \ --tensor-parallel-size 2 \ --enable-audio-output \ # 启用音频输出 --max-model-len 16384调用流式# WebSocket 实时双向音频流 # 客户端持续推送 audio chunk # 服务端持续返回 audio chunk实测延迟300-500ms接近 GPT-4o。3.5 语音业务的工程化完整语音助手架构浏览器/移动端 ↓ WebRTC / WebSocket 语音网关FastAPI WebSocket ├── VAD语音活动检测判断说没说话 ├── ASR流式 ├── LLMvLLM 流式输出 └── TTS流式合成 ↓ 返回音频流关键技术点VAD用 Silero VAD 等模型识别说话开始/结束流式 ASR边录边识别不等说完流式 TTSLLM 边输出文字边合成语音打断处理用户说话时立即停 TTS四、视频理解4.1 视频的 Token 灾难视频 一系列图像帧。1 分钟视频30 FPS 1800 帧 每帧 ~500 token 90 万 token 完了连 1M 上下文都装不下。所以视频理解必须抽帧 / 压缩。4.2 主流抽帧策略策略思路适合固定帧率每秒 1 帧 / 每秒 0.5 帧一般场景关键帧检测场景切换抽影视、教学语义采样用小模型判断重要监控均匀采样等间隔抽固定数量长视频概览实操推荐短视频 1 分钟1 FPS中等视频1-30 分钟0.5 FPS 或固定 100 帧长视频 30 分钟固定 200 帧均匀抽4.3 主流 Video-LLM模型视频能力备注Gemini 2.5 Pro⭐⭐⭐⭐⭐业界最强GPT-5 Video⭐⭐⭐⭐⭐接近 GeminiQwen3-VL视频模式⭐⭐⭐⭐开源InternVideo2.5⭐⭐⭐⭐开源MiniCPM-V视频版⭐⭐⭐端侧4.4 部署示例# 用 Qwen2.5-VL 处理视频 from qwen_vl_utils import process_vision_info messages [{ role: user, content: [ {type: video, video: path/to/video.mp4, fps: 1.0}, {type: text, text: 总结这个视频的内容} ] }] # qwen_vl_utils 自动抽帧并转 token image_inputs, video_inputs process_vision_info(messages) response client.chat.completions.create( modelQwen/Qwen2.5-VL-32B-Instruct, messagesmessages, )4.5 视频业务场景场景推荐方案短视频内容审核抽帧 5 张 → VLM视频摘要抽 30-50 帧 → Gemini监控异常检测VAD 关键帧 → VLM视频问答RAG over 视频帧直播实时字幕流式 ASR五、统一多模态未来已来5.1 全模态模型2025-2026 的明星模型输入输出GPT-5 / o3文 / 图 / 音 / 视文 / 音 / 图Gemini 2.5文 / 图 / 音 / 视 / 代码文 / 图 / 音 / 视Claude 4.7文 / 图 / 音文 / 音Qwen3-Omni文 / 图 / 音 / 视文 / 音关键认知未来的「LLM」会消失——只有「多模态基础模型」。5.2 一个统一模型 vs 多个专用模型维度统一模型多专用模型组合部署复杂度低高资源消耗中高模态间一致性高低单模态极致质量中高成本中中结论业务简单用统一业务专业用专用。混合也很常见。5.3 Computer Use 与 Browser Use2024 末 Anthropic 推出Computer Use——让 Claude 直接看屏幕 操作鼠标键盘。LLM 看屏幕截图VLM 能力 ↓ 理解界面 ↓ 决定操作click x,y / type hello ↓ 执行 ↓ 看新截图 ↓ ...这是多模态 Tool Use Agent的终极组合让 LLM 能用任何 GUI 软件。主流方案Anthropic Computer UseOpenAI Operator2025开源 Browser-use / Skyvern部署复杂度极高——需要虚拟机 屏幕截图 输入控制 安全沙箱。六、生产实战多模态客服 Demo把前面的技术整合做一个生产级多模态客服用户上传图片产品照 语音描述问题 ↓ ASR 识别语音 ↓ VLM 分析图片识别产品 缺陷 ↓ RAG 检索产品手册 历史工单 ↓ LLM 生成回复 解决方案 ↓ TTS 转语音回复完整代码骨架async defmultimodal_customer_service(audio: bytes, image: bytes): # 1. ASR text await asr_model.transcribe(audio) # 2. VLM 分析图片 image_analysis await vlm.analyze(image, prompt识别产品和问题) # 3. RAG docs await rag.search(f{text} {image_analysis}) # 4. LLM 生成 response await llm.generate( system你是客服专家, messages[{role: user, content: f 用户语音问题{text} 图片分析{image_analysis} 相关文档{docs} }], ) # 5. TTS audio_response await tts.synthesize(response) return { text_response: response, audio_response: audio_response, image_analysis: image_analysis, }资源预估跑这套服务需要组件资源ASR (SenseVoice)1 × T4 GPUVLM (Qwen2.5-VL-32B)1 × H100LLM (Qwen3-32B)1 × H100TTS (CosyVoice)1 × T4RAG (向量库 embedding)单独 CPU 节点合计2 × H100 2 × T4月 TCO约 ¥120K。七、避坑7.1 坑 1图片 token 失控对策监控每请求 token 数对超出的请求自动降采样。7.2 坑 2长视频默认抽帧太多对策业务侧主动设抽帧数如最多 50 帧。7.3 坑 3音频文件格式杂对策客户端统一转 PCM 16kHz mono。7.4 坑 4语音延迟超预期对策用流式 ASR / TTS优化 LLM prefill 速度用端到端语音模型GPT-4o-realtime / Qwen3-Omni7.5 坑 5多模态 RAG 检索效果差对策用专门的多模态 embedding如 CLIP / Visualized BGE图像和文本各自索引 融合排序7.6 坑 6评估方法不对对策文本任务BLEU / ROUGE / GPT-4 as judge视觉任务MMBench / MMMU / 自建业务评测集语音任务WER识别/ MOS合成八、结语多模态是 LLM 工程的「下一波」读完本文你应该明白VLM 本质是 ViT Projector LLM——可以用 vLLM 部署图像 token 远超想象——监控每请求 token 数语音三段式ASR-LLM-TTS是主流端到端是未来视频必须抽帧——1 FPS 是甜蜜点GPT-4o / Gemini 2.5 / Qwen3-Omni开启全模态新时代Computer Use是多模态 Tool Use Agent 的终极融合参考文献多模态部署VLM、语音、视频理解