HyOCR-1.5 深度解读一、导语2026 年 7 月 12 日腾讯混元团队正式发布并开源端到端 OCR 大模型HyOCR-1.5项目名 HunyuanOCR。该模型仅 1B 参数却在权威文档解析基准 OmniDocBench v1.6 上以94.74 分位列端到端第一并首次实现了训练配方、推理框架、模型权重的全栈开源。本文从架构设计、核心技术、评测数据、部署实践四个维度展开解读。项目主页GitHub - Tencent-Hunyuan/HunyuanOCR · GitHub论文地址https://arxiv.org/pdf/2607.04884模型权重https://huggingface.co/tencent/HunyuanOCR二、模型架构轻量端到端设计HyOCR-1.5 延续了 HyOCR-1.0 验证过的紧凑架构由三大组件构成组件说明原生分辨率视觉编码器基于 Hunyuan-ViT 构建最大输入分辨率从 2K 扩展至4K保持原始宽高比与空间布局自适应 MLP 连接器桥接视觉编码器与语言模型实现多模态特征对齐轻量语言模型基于 Hunyuan-0.5B负责将多模态特征解码为结构化文本整个架构采用图像到文本的端到端设计直接将输入映射为 Markdown、HTML、LaTeX 等结构化输出无需任何任务级后处理模块如版面分析、区域裁剪、行级识别等传统流水线组件从根源上避免了级联误差累积。三、DFlash 投机解码推理加速 6.37 倍3.1 背景自回归解码的延迟瓶颈端到端 OCR 模型的核心痛点在于长自回归解码——文档越密集、表格越复杂、公式越多模型就需要逐 token 生成延迟随之线性增长。例如一份含有复杂表格的 A4 文档可能产生数千个 token 的结构化输出在纯自回归模式下耗时可达数秒。3.2 DFlash 工作机制HyOCR-1.5 引入了基于DFlash的投机解码Speculative Decoding框架其核心流程如下草稿预测一个仅约90.7M 参数的轻量级 block-diffusion 草稿模型利用非因果注意力掩码在一次并行前向传播中预测出整块候选 token目标验证目标模型HyOCR-1.5 主体对草稿模型的输出进行一次性验证接受最长的正确前缀分布保真整个过程严格保持目标模型的输出分布——即加速但不改变结果。DFlash 与传统的 Eagle-3 等自回归草稿生成方案的区别在于DFlash 的草稿模型可以同时关注验证器的隐藏状态和掩码 token 嵌入一次性生成所有草稿 token而非像自回归方案那样逐个生成。这种方式在同步请求场景下可比 Eagle-3 带来额外 2~3 倍的加速。3.3 加速效果在 OmniDocBench 测试集上batch size 1DFlash 的效果如下推理框架延迟AR 基线延迟DFlash加速比吞吐提升vLLM3.032 s/page1.408 s/page2.14×466.9 → 1002.3 token/sTransformers——6.37×—在 vLLM 下单页文档端到端处理仅需1.408 秒0.706 page/s甚至比 GLM-OCR、PaddleOCR-VL-1.6 等两阶段级联方案更快同时保持端到端统一架构无需版面切分。3.4 输出越长加速越明显投机解码的天然特性是输出越长、加速越显著。按输出 token 长度分段统计输出长度tokenvLLM 加速比Transformers 加速比0–2561.31×4.56×256–5121.68×5.42×512–10241.89×6.12×1024–20482.14×6.36×20482.30×6.67×按内容类型看表格页加速最大vLLM 2.39× / Transformers 7.81×其次是公式页、纯文本页。原因在于 HTML 表格等高度规整的结构使得未来 token 更容易被草稿模型猜中有效接受长度也更长。四、Agentic Data Flow智能体驱动的数据闭环4.1 设计动机传统 OCR 模型的数据生产高度依赖人工——编写采集脚本、搜集素材、标注数据成本高昂且难以覆盖长尾场景。HyOCR-1.5 提出的Agentic Data Flow智能体驱动数据流将这一过程自动化把模型的短板直接转化为可执行的数据需求由 Agent 自主完成从素材搜集到数据验证的全流程。4.2 三大核心能力素材搜集Agent 调用搜索引擎、图库 API 等工具为低资源 OCR 搜集多语言语料、TTF 字体与渲染背景为古文字 OCR 搜集历史文献、碑帖、书法墨迹等视觉素材为多图问答自动检索多页 PDF 并提取跨页文本与结构。工具辅助清洗与质检利用 HyOCR-1.0 等已有模型对候选素材进行预标注与一致性验证过滤低质量、重复、图文不匹配的样本通过渲染测试主动挖掘漏识别、结构混乱、跨页理解失败等难例。数据管线开发Agent 根据任务目标自动编写数据渲染/问答生成脚本从模型原始数据扩展为支持多格式、多语种、多子任务的增强数据集。4.3 长尾能力的补齐Agentic Data Flow 在以下三个方向取得突出成效低资源 OCR借鉴 SynthText / SynthDoG 思路开发多语种文字合成工具持续维护覆盖331 种语言的结构化数据古文字 OCR合成从甲骨文、金文到行书、草书的汉字七体训练数据并融入罕见历史字形多图问答基于多页 PDF 生成跨页检索、跨页比对、证据聚合等问答对补全看图理解能力。五、三阶段训练配方HyOCR-1.5 遵循预训练 → SFT → RL 三阶段训练路线阶段关键策略预训练重规划 Stage 3注入 Agentic Data Flow 产出的新能力数据低资源语种、古文字、图表、多图问答同时将图像分辨率扩展至4K、上下文窗口扩展至128KSFT对 1.0 版本的海量训练数据进行彻底清洗剔除标注错误、格式不一致、图文不匹配等问题统一所有任务的 prompt 接口为 RL 阶段奠定干净的数据基础RL采用IcePopGRPO 风格强化学习优化设计三类互补奖励信号——事实性奖励文档还原准确度、一致性奖励通过问答对比验证理解一致性、退化抑制奖励惩罚重复/乱码输出使模型在更真实、更一致、更全面三个维度同时提升六、性能评测详解6.1 文档解析OmniDocBench v1.6HyOCR-1.5 在 OmniDocBench v1.6 上取得94.74的 Overall 分数端到端 OCR 模型中位列第一。尤其在表格解析维度表现突出指标分数Overall94.74TEDS表格结构93.67TEDS-S严格表格结构94.71阅读顺序第一梯队6.2 古文字 OCRChronicles-OCR在覆盖汉字七体的 Chronicles-OCR 基准上字体类别平均分对比古文字体甲骨/金文/篆书0.54超越 GPT-5、Gemini 3.1 Pro、Kimi K2.5现代字体隶/楷/行/草0.79同上6.3 图表解析ChartArena在细粒度图表解析基准 ChartArena 上仅 1B 参数的 HyOCR-1.5 取得英文48.9、中文64.1的平均分性能可比肩 8B 规模的通用模型。6.4 其他基准一览基准任务分数备注MORE149 种低资源语言91.90OCR 专家模型中 SOTATableVerse-5K复杂表格TEDS 78.23 / TEDS-S 84.84专家 OCR 模型最优DUDE文档多图问答54.64逼近通用模型 Qwen3.5-0.8B56.41CHAOS-Bench幻觉抑制页均召回率14.15优于现有模型输出更忠于原图内部 1000 张测试集拒识准确率99.8%1.0 版本为 78.1%大幅改善幻觉读图6.5 与 DeepSeek-OCR-2 的直接对比维度HyOCR-1.5DeepSeek-OCR-2参数规模1B3BOmniDocBench94.7487.01端到端延迟1.408 s/page5.460 s/page表格 TEDS93.67~84.97推理加速DFlash 6.37×无专用加速部署成本CPU / 笔记本可运行需服务器级 GPU七、快速上手7.1 环境准备Python 3.12CUDA 12.9PyTorch 2.7.1vLLM ≥ 0.12.07.2 vLLM 部署# 启动服务 vllm serve tencent/HunyuanOCR # 或加载 Hugging Face 权重7.3 调用示例from PIL import Image from vllm import LLM, SamplingParams # 加载模型 llm LLM(modeltencent/HunyuanOCR) # 构建输入 messages [ { role: user, content: [ {type: image, image: document.jpg}, {type: text, text: 请将图片中的文档解析为 Markdown 格式。} ] } ] # 推理temperature0 保证确定性输出 sampling_params SamplingParams(temperature0, max_tokens16384) outputs llm.chat(messages, sampling_paramssampling_params)按场景选择不同 Prompt即可切换文档解析、文字检测、信息抽取、拍照翻译、图表解析等任务。7.4 本地 CPU 部署通过 llama.cpp 可在纯 CPU 或消费级 GPU 上运行# 转换模型为 GGUF 格式后 llama-cli -m hyocr-1.5.Q4_K_M.gguf --image document.jpg -p 解析图片内容:八、应用场景场景能力描述密集文档数字化合同、论文、报告等高密度多栏版面一键转 Markdown/HTML/LaTeX复杂表格与公式解析精准还原财务报表、学术论文中的超大表格与数学公式多语种文档处理覆盖 331 种语言自动识别混合语种文档古文字研究与保护识别甲骨、金文、篆书等汉字七体辅助历史文献数字化信息抽取从票据、证件、收据中提取指定字段按 JSON 格式返回拍照翻译提取图中文字并翻译保留文档版式与公式格式多页文档问答基于多页 PDF 进行跨页检索、比对与证据聚合九、总结HyOCR-1.5 的核心价值可概括为三个关键词快、准、全。快DFlash 投机解码在 Transformers 下实现 6.37 倍加速vLLM 下单页仅需 1.4 秒甚至超越传统两阶段级联方案准OmniDocBench v1.6 以 94.74 分位列端到端第一表格 TEDS 93.67CHAOS-Bench 幻觉召回率业界最优全覆盖文档解析、文本识别、信息抽取、翻译、图表解析、古文字识别、视频字幕提取、多页问答等八大能力331 种语言。更重要的是这是端到端 OCR 领域首个全栈开源模型——训练配方、推理框架、模型权重完整公开支持 llama.cpp 在 CPU 和消费级显卡上部署。对于需要文档智能处理能力的开发者而言HyOCR-1.5 提供了一个开箱即用、可复现、可微调、可私有化部署的高质量选择。
HyOCR-1.5 深度解读一、导语2026 年 7 月 12 日腾讯混元团队正式发布并开源端到端 OCR 大模型HyOCR-1.5项目名 HunyuanOCR。该模型仅 1B 参数却在权威文档解析基准 OmniDocBench v1.6 上以94.74 分位列端到端第一并首次实现了训练配方、推理框架、模型权重的全栈开源。本文从架构设计、核心技术、评测数据、部署实践四个维度展开解读。项目主页GitHub - Tencent-Hunyuan/HunyuanOCR · GitHub论文地址https://arxiv.org/pdf/2607.04884模型权重https://huggingface.co/tencent/HunyuanOCR二、模型架构轻量端到端设计HyOCR-1.5 延续了 HyOCR-1.0 验证过的紧凑架构由三大组件构成组件说明原生分辨率视觉编码器基于 Hunyuan-ViT 构建最大输入分辨率从 2K 扩展至4K保持原始宽高比与空间布局自适应 MLP 连接器桥接视觉编码器与语言模型实现多模态特征对齐轻量语言模型基于 Hunyuan-0.5B负责将多模态特征解码为结构化文本整个架构采用图像到文本的端到端设计直接将输入映射为 Markdown、HTML、LaTeX 等结构化输出无需任何任务级后处理模块如版面分析、区域裁剪、行级识别等传统流水线组件从根源上避免了级联误差累积。三、DFlash 投机解码推理加速 6.37 倍3.1 背景自回归解码的延迟瓶颈端到端 OCR 模型的核心痛点在于长自回归解码——文档越密集、表格越复杂、公式越多模型就需要逐 token 生成延迟随之线性增长。例如一份含有复杂表格的 A4 文档可能产生数千个 token 的结构化输出在纯自回归模式下耗时可达数秒。3.2 DFlash 工作机制HyOCR-1.5 引入了基于DFlash的投机解码Speculative Decoding框架其核心流程如下草稿预测一个仅约90.7M 参数的轻量级 block-diffusion 草稿模型利用非因果注意力掩码在一次并行前向传播中预测出整块候选 token目标验证目标模型HyOCR-1.5 主体对草稿模型的输出进行一次性验证接受最长的正确前缀分布保真整个过程严格保持目标模型的输出分布——即加速但不改变结果。DFlash 与传统的 Eagle-3 等自回归草稿生成方案的区别在于DFlash 的草稿模型可以同时关注验证器的隐藏状态和掩码 token 嵌入一次性生成所有草稿 token而非像自回归方案那样逐个生成。这种方式在同步请求场景下可比 Eagle-3 带来额外 2~3 倍的加速。3.3 加速效果在 OmniDocBench 测试集上batch size 1DFlash 的效果如下推理框架延迟AR 基线延迟DFlash加速比吞吐提升vLLM3.032 s/page1.408 s/page2.14×466.9 → 1002.3 token/sTransformers——6.37×—在 vLLM 下单页文档端到端处理仅需1.408 秒0.706 page/s甚至比 GLM-OCR、PaddleOCR-VL-1.6 等两阶段级联方案更快同时保持端到端统一架构无需版面切分。3.4 输出越长加速越明显投机解码的天然特性是输出越长、加速越显著。按输出 token 长度分段统计输出长度tokenvLLM 加速比Transformers 加速比0–2561.31×4.56×256–5121.68×5.42×512–10241.89×6.12×1024–20482.14×6.36×20482.30×6.67×按内容类型看表格页加速最大vLLM 2.39× / Transformers 7.81×其次是公式页、纯文本页。原因在于 HTML 表格等高度规整的结构使得未来 token 更容易被草稿模型猜中有效接受长度也更长。四、Agentic Data Flow智能体驱动的数据闭环4.1 设计动机传统 OCR 模型的数据生产高度依赖人工——编写采集脚本、搜集素材、标注数据成本高昂且难以覆盖长尾场景。HyOCR-1.5 提出的Agentic Data Flow智能体驱动数据流将这一过程自动化把模型的短板直接转化为可执行的数据需求由 Agent 自主完成从素材搜集到数据验证的全流程。4.2 三大核心能力素材搜集Agent 调用搜索引擎、图库 API 等工具为低资源 OCR 搜集多语言语料、TTF 字体与渲染背景为古文字 OCR 搜集历史文献、碑帖、书法墨迹等视觉素材为多图问答自动检索多页 PDF 并提取跨页文本与结构。工具辅助清洗与质检利用 HyOCR-1.0 等已有模型对候选素材进行预标注与一致性验证过滤低质量、重复、图文不匹配的样本通过渲染测试主动挖掘漏识别、结构混乱、跨页理解失败等难例。数据管线开发Agent 根据任务目标自动编写数据渲染/问答生成脚本从模型原始数据扩展为支持多格式、多语种、多子任务的增强数据集。4.3 长尾能力的补齐Agentic Data Flow 在以下三个方向取得突出成效低资源 OCR借鉴 SynthText / SynthDoG 思路开发多语种文字合成工具持续维护覆盖331 种语言的结构化数据古文字 OCR合成从甲骨文、金文到行书、草书的汉字七体训练数据并融入罕见历史字形多图问答基于多页 PDF 生成跨页检索、跨页比对、证据聚合等问答对补全看图理解能力。五、三阶段训练配方HyOCR-1.5 遵循预训练 → SFT → RL 三阶段训练路线阶段关键策略预训练重规划 Stage 3注入 Agentic Data Flow 产出的新能力数据低资源语种、古文字、图表、多图问答同时将图像分辨率扩展至4K、上下文窗口扩展至128KSFT对 1.0 版本的海量训练数据进行彻底清洗剔除标注错误、格式不一致、图文不匹配等问题统一所有任务的 prompt 接口为 RL 阶段奠定干净的数据基础RL采用IcePopGRPO 风格强化学习优化设计三类互补奖励信号——事实性奖励文档还原准确度、一致性奖励通过问答对比验证理解一致性、退化抑制奖励惩罚重复/乱码输出使模型在更真实、更一致、更全面三个维度同时提升六、性能评测详解6.1 文档解析OmniDocBench v1.6HyOCR-1.5 在 OmniDocBench v1.6 上取得94.74的 Overall 分数端到端 OCR 模型中位列第一。尤其在表格解析维度表现突出指标分数Overall94.74TEDS表格结构93.67TEDS-S严格表格结构94.71阅读顺序第一梯队6.2 古文字 OCRChronicles-OCR在覆盖汉字七体的 Chronicles-OCR 基准上字体类别平均分对比古文字体甲骨/金文/篆书0.54超越 GPT-5、Gemini 3.1 Pro、Kimi K2.5现代字体隶/楷/行/草0.79同上6.3 图表解析ChartArena在细粒度图表解析基准 ChartArena 上仅 1B 参数的 HyOCR-1.5 取得英文48.9、中文64.1的平均分性能可比肩 8B 规模的通用模型。6.4 其他基准一览基准任务分数备注MORE149 种低资源语言91.90OCR 专家模型中 SOTATableVerse-5K复杂表格TEDS 78.23 / TEDS-S 84.84专家 OCR 模型最优DUDE文档多图问答54.64逼近通用模型 Qwen3.5-0.8B56.41CHAOS-Bench幻觉抑制页均召回率14.15优于现有模型输出更忠于原图内部 1000 张测试集拒识准确率99.8%1.0 版本为 78.1%大幅改善幻觉读图6.5 与 DeepSeek-OCR-2 的直接对比维度HyOCR-1.5DeepSeek-OCR-2参数规模1B3BOmniDocBench94.7487.01端到端延迟1.408 s/page5.460 s/page表格 TEDS93.67~84.97推理加速DFlash 6.37×无专用加速部署成本CPU / 笔记本可运行需服务器级 GPU七、快速上手7.1 环境准备Python 3.12CUDA 12.9PyTorch 2.7.1vLLM ≥ 0.12.07.2 vLLM 部署# 启动服务 vllm serve tencent/HunyuanOCR # 或加载 Hugging Face 权重7.3 调用示例from PIL import Image from vllm import LLM, SamplingParams # 加载模型 llm LLM(modeltencent/HunyuanOCR) # 构建输入 messages [ { role: user, content: [ {type: image, image: document.jpg}, {type: text, text: 请将图片中的文档解析为 Markdown 格式。} ] } ] # 推理temperature0 保证确定性输出 sampling_params SamplingParams(temperature0, max_tokens16384) outputs llm.chat(messages, sampling_paramssampling_params)按场景选择不同 Prompt即可切换文档解析、文字检测、信息抽取、拍照翻译、图表解析等任务。7.4 本地 CPU 部署通过 llama.cpp 可在纯 CPU 或消费级 GPU 上运行# 转换模型为 GGUF 格式后 llama-cli -m hyocr-1.5.Q4_K_M.gguf --image document.jpg -p 解析图片内容:八、应用场景场景能力描述密集文档数字化合同、论文、报告等高密度多栏版面一键转 Markdown/HTML/LaTeX复杂表格与公式解析精准还原财务报表、学术论文中的超大表格与数学公式多语种文档处理覆盖 331 种语言自动识别混合语种文档古文字研究与保护识别甲骨、金文、篆书等汉字七体辅助历史文献数字化信息抽取从票据、证件、收据中提取指定字段按 JSON 格式返回拍照翻译提取图中文字并翻译保留文档版式与公式格式多页文档问答基于多页 PDF 进行跨页检索、比对与证据聚合九、总结HyOCR-1.5 的核心价值可概括为三个关键词快、准、全。快DFlash 投机解码在 Transformers 下实现 6.37 倍加速vLLM 下单页仅需 1.4 秒甚至超越传统两阶段级联方案准OmniDocBench v1.6 以 94.74 分位列端到端第一表格 TEDS 93.67CHAOS-Bench 幻觉召回率业界最优全覆盖文档解析、文本识别、信息抽取、翻译、图表解析、古文字识别、视频字幕提取、多页问答等八大能力331 种语言。更重要的是这是端到端 OCR 领域首个全栈开源模型——训练配方、推理框架、模型权重完整公开支持 llama.cpp 在 CPU 和消费级显卡上部署。对于需要文档智能处理能力的开发者而言HyOCR-1.5 提供了一个开箱即用、可复现、可微调、可私有化部署的高质量选择。
