人工智能计算机视觉OCR多模态大模型【免费下载链接】Unlimited-OCR-2项目地址https://ai.gitcode.com/hf_mirrors/baidu/Unlimited-OCR-2点击查看免费下载Unlimited-OCR-2是百度开源的超长文档 OCR 模型它的核心卖点是SR-SWASparse Reference Sliding Window Attention稀疏参考滑动窗口注意力技术——让模型在一次请求里完成整本书的无限视野解析同时显存占用和单步解码延迟几乎不随文档变长而增长。这篇文章用通俗语言讲清楚SR-SWA 是怎么做到的、为什么显存不会爆、以及你如何快速上手体验。 它解决了什么难题超长文档解析的三座大山传统 OCR 与视觉语言模型解析文档时页数越多越吃力注意力开销平方增长注意力机制中每个 token 都要与前面的 token 交互复杂度是 O(n²)。一本几百页的书直接让计算量爆炸KV cache 吃爆显存已生成内容的 Key/Value 必须全部保存在显存里占用随文档长度线性上涨长文档轻松让 80GB 卡 OOM切分处理丢上下文常见做法是按页切分、逐页解析再拼接但跨页表格、公式引用很容易在边界处被拦腰截断。Unlimited-OCR-2 的目标就是把这三座山一次推平整份文档一次解析计算与显存却保持近似恒定。 SR-SWA 核心原理把超长序列压成固定大小的工作参考集用一句话说清 SR-SWA将超长序列中的文本-视觉注意力交互压缩到一个固定大小的工作参考集例如 512 个 token上从而给计算复杂度加上一个天花板。它的名字可以拆成三部分每一部分都对应代码里真实存在的模块组件作用代码位置Sparse稀疏不读全部 token只读路由器挑出的少数重要参考块dash_attention.pyDASH 可微路由器Reference参考把各页视觉 token 组织成可跨页引用的参考单元用 2D 位置页号、页内位置区分config.json 中page2d配置Sliding Window滑动窗口用环形缓冲保留最近的窗口循环覆写缓存不再随文档变长_sparse_base_impl.py三者合起来的效果是无论是 10 页还是 1000 页模型每一步解码都只看固定大小的局部窗口 固定数量的远程参考块单步计算量基本不变——这就是无限视野Unlimited-Horizon的真正来源。稀疏路由模型怎么知道该读哪一块从几万 token 中只读最重要的块本质上是个检索问题。Unlimited-OCR-2 用DASH 路由器Differentiable and Adaptive Sparse Hierarchical attention见 dash_attention.py解决它流程分四步分块把整个序列按 32 个 token 切成块config.json 中sparse_block_size: 32打分用一套轻量低维索引投影为每个块算出与当前 query 的相关度得分成本极低可微选择用1.5-entmax分布选出最重要的 top-k 个块。与硬 top-k 不同entmax 端到端可微——梯度可以直接从最终的文字生成损失流回路由器不需要两阶段 KL 蒸馏的繁琐训练流程偏置融合路由器对每个块的置信度以对数偏置注入注意力得分一次同时决定选哪些块、每个块占多大权重。推理时每个注意力层的每个 query 大约只读取 16 个块config.json 中sparse_topk_blocks: 1616 × 32 512 个 token 的远程参考——这正是官方描述里512 工作参考的数字来源。环形缓冲显存恒定是怎么做到的滑动窗口部分由环形缓冲ring buffer实现见SlidingWindowLlamaAttention及其解码路径KV 缓存只需预留前缀 一个窗口的容量进入稳态后新生成的 token原地覆写最旧的槽位写指针循环前进。效果非常直观文档想多长就多长缓存显存却始终只占一小段窗口的大小。这正是 SR-SWA 宣称每步解码延迟和显存占用近乎恒定的硬件层保障。2D 位置编码记住第几页、第几行超长序列如果只用一维位置编号模型很容易分不清第 3 页的公式和第 33 页的公式。Unlimited-OCR-2 为此采用page2d 双轴旋转位置编码config.json 中sparse_rope_mode: page2d实现在 _sparse_base_impl.pytoken 轴页内偏移负责页内的先后顺序page 轴页号page_mod: 2负责页与页之间的层级区分。两轴各司其职模型天然理解这段话在文档的哪一页这是上百页文档解析不出错的关键细节之一。 效果实测两类基准双双达到 SOTA得益于 SR-SWAUnlimited-OCR-2 在两类难度梯度上均取得最先进水平SOTAMPDocBench数十页级通用长文档解析竞技场MarathonDocBench上百页级随模型同步发布的马拉松基准专测极限超长解析能力。官方 README 中还演示了一次请求解析整本《哈利·波特》的完整回放——输出流贯穿全书、跨页连贯这正是无限视野最直观的证明。 快速上手体验 Unlimited-OCR-2 的三种方式方式一Transformers 快速验证新手首选pip install torch2.13.0 torchvision pillow transformers4.52.1 \ huggingface-hub0.36.0 tokenizers0.21.4 addict2.4.0 einops0.8.2 easydict1.13多页文档用infer_multi一次解析入口见 modeling_unlimitedocr.py按页序传入图片模型自动构建多页提示词每页输出一个PAGE块model_name baidu/Unlimited-OCR-2 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModel.from_pretrained(model_name, trust_remote_codeTrue, torch_dtypetorch.bfloat16).eval().cuda() pages [fyour_doc/page_{i}.jpg for i in range(1, 8)] text, num_tokens model.infer_multi(tokenizer, image_filespages, output_pathoutput/multi, save_resultsTrue)方式二SGLang 服务化部署生产推荐仓库内置定制版 SGLang wheelwheel/sglang-0.5.20.dev13g75b9b06b02-py3-none-any.whl。核心步骤详见 README.mduv pip install wheel/sglang-0.5.20.dev13g75b9b06b02-py3-none-any.whl \ pymupdf1.27.2.2 fastokens0.3.2 python -m sglang.launch_server --model-path baidu/Unlimited-OCR-2 --port 10000超长文档最关键的几个环境变量SGLANG_UOCR_EANABLE_DOC_LIMIT1开启页窗口调度超长文档按窗口逐段推进并复用上一个窗口的 KV 尾部避免重复计算SGLANG_UOCR_DOC_BASE_PAGE_WINDOW10每个窗口的页数。窗口越小峰值显存越低但过小会削弱跨页元素合并能力SGLANG_UOCR_MAX_PAGE_TOKENS20000单页输出上限防止异常长页拖垮全局预算。方式三按场景选择编码模式模式适用场景行为特点base全局视图多页文档每页编码为一个整体视图保留跨页上下文gundam动态切块单页高分辨率动态切成小块再解析细节还原更精细通过推理入口的crop_mode参数或 API 请求中的images_config: {crop_mode: true/false}即可切换。❓ 常见问题Q1512 个参考 token凭什么够用因为远程参考是局部窗口的补充窗口负责眼前内容稀疏参考只需跨页取回真正相关的少数图像块表格、公式、页眉。DASH 路由器正是通过端到端训练学会这种抓重点的能力。Q2需要什么硬件官方验证环境为NVIDIA A800-80GB Python 3.10SGLang 部署时建议--mem-fraction-static 0.7为并发请求预留显存余量。Q3模型整体长什么样底座是一个 12 层 MoE 语言模型64 个路由专家 2 个共享专家见 configuration_deepseek_v2.py视觉端由 SAM ViT-B CLIP-L 双编码器加 MLP 投影器组成见 deepencoder.pySR-SWA 则是 Unlimited-OCR-2 在上一代基础上实现从长视野到无限视野的关键升级。 参考资料项目说明与完整推理指南README.md技术报告Unlimited-OCR-2.pdf稀疏注意力配置块大小、top-k、page2d RoPE 等config.jsonDASH 可微稀疏路由器dash_attention.py滑窗/环形缓冲注意力实现_sparse_base_impl.py推理入口infer/infer_multimodeling_unlimitedocr.pyTriton 稀疏 gather 加速内核sparse_gather_triton.py、sparse_gather_e2e_triton.py赞分享人工智能计算机视觉OCR多模态大模型【免费下载链接】Unlimited-OCR-2项目地址https://ai.gitcode.com/hf_mirrors/baidu/Unlimited-OCR-2点击查看免费下载相关推荐Unlimited-OCR-2-6bit为什么霸榜文档OCRUnlimited-OCR-2系列评测与榜单解读Unlimited OCR 2 6bit为什么霸榜文档OCRUnlimited OCR 2系列评测与榜单解读 Unlimited OCR 2 6bit 是百度人工智能多模态计算机视觉OCR模型量化本地部署为什么 Mono-InternVL-2B-S1-2 的 OCR 能力这么强EViP 内生视觉预训练终极揭秘为什么 Mono InternVL 2B S1 2 的 OCR 能力这么强EViP 内生视觉预训练终极揭秘 Mono InternVL 2B S1 2 是一款为什么Unlimited-OCR-2-6bit处理长文档不爆显存深扒DASH可微稀疏注意力原理为什么Unlimited OCR 2 6bit处理长文档不爆显存深扒DASH可微稀疏注意力原理 Unlimited OCR 2 6bit 是百度 Unlimi人工智能多模态计算机视觉OCR模型量化本地部署上一篇免费开源可商用nanobanana-trending-prompts的CC BY 4.0许可、贡献流程与Discord社区指南下一篇【吐血整理】Parallels Desktop 19 for Mac 永久升级密钥 免费创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
人工智能计算机视觉OCR多模态大模型【免费下载链接】Unlimited-OCR-2项目地址https://ai.gitcode.com/hf_mirrors/baidu/Unlimited-OCR-2点击查看免费下载Unlimited-OCR-2是百度开源的超长文档 OCR 模型它的核心卖点是SR-SWASparse Reference Sliding Window Attention稀疏参考滑动窗口注意力技术——让模型在一次请求里完成整本书的无限视野解析同时显存占用和单步解码延迟几乎不随文档变长而增长。这篇文章用通俗语言讲清楚SR-SWA 是怎么做到的、为什么显存不会爆、以及你如何快速上手体验。 它解决了什么难题超长文档解析的三座大山传统 OCR 与视觉语言模型解析文档时页数越多越吃力注意力开销平方增长注意力机制中每个 token 都要与前面的 token 交互复杂度是 O(n²)。一本几百页的书直接让计算量爆炸KV cache 吃爆显存已生成内容的 Key/Value 必须全部保存在显存里占用随文档长度线性上涨长文档轻松让 80GB 卡 OOM切分处理丢上下文常见做法是按页切分、逐页解析再拼接但跨页表格、公式引用很容易在边界处被拦腰截断。Unlimited-OCR-2 的目标就是把这三座山一次推平整份文档一次解析计算与显存却保持近似恒定。 SR-SWA 核心原理把超长序列压成固定大小的工作参考集用一句话说清 SR-SWA将超长序列中的文本-视觉注意力交互压缩到一个固定大小的工作参考集例如 512 个 token上从而给计算复杂度加上一个天花板。它的名字可以拆成三部分每一部分都对应代码里真实存在的模块组件作用代码位置Sparse稀疏不读全部 token只读路由器挑出的少数重要参考块dash_attention.pyDASH 可微路由器Reference参考把各页视觉 token 组织成可跨页引用的参考单元用 2D 位置页号、页内位置区分config.json 中page2d配置Sliding Window滑动窗口用环形缓冲保留最近的窗口循环覆写缓存不再随文档变长_sparse_base_impl.py三者合起来的效果是无论是 10 页还是 1000 页模型每一步解码都只看固定大小的局部窗口 固定数量的远程参考块单步计算量基本不变——这就是无限视野Unlimited-Horizon的真正来源。稀疏路由模型怎么知道该读哪一块从几万 token 中只读最重要的块本质上是个检索问题。Unlimited-OCR-2 用DASH 路由器Differentiable and Adaptive Sparse Hierarchical attention见 dash_attention.py解决它流程分四步分块把整个序列按 32 个 token 切成块config.json 中sparse_block_size: 32打分用一套轻量低维索引投影为每个块算出与当前 query 的相关度得分成本极低可微选择用1.5-entmax分布选出最重要的 top-k 个块。与硬 top-k 不同entmax 端到端可微——梯度可以直接从最终的文字生成损失流回路由器不需要两阶段 KL 蒸馏的繁琐训练流程偏置融合路由器对每个块的置信度以对数偏置注入注意力得分一次同时决定选哪些块、每个块占多大权重。推理时每个注意力层的每个 query 大约只读取 16 个块config.json 中sparse_topk_blocks: 1616 × 32 512 个 token 的远程参考——这正是官方描述里512 工作参考的数字来源。环形缓冲显存恒定是怎么做到的滑动窗口部分由环形缓冲ring buffer实现见SlidingWindowLlamaAttention及其解码路径KV 缓存只需预留前缀 一个窗口的容量进入稳态后新生成的 token原地覆写最旧的槽位写指针循环前进。效果非常直观文档想多长就多长缓存显存却始终只占一小段窗口的大小。这正是 SR-SWA 宣称每步解码延迟和显存占用近乎恒定的硬件层保障。2D 位置编码记住第几页、第几行超长序列如果只用一维位置编号模型很容易分不清第 3 页的公式和第 33 页的公式。Unlimited-OCR-2 为此采用page2d 双轴旋转位置编码config.json 中sparse_rope_mode: page2d实现在 _sparse_base_impl.pytoken 轴页内偏移负责页内的先后顺序page 轴页号page_mod: 2负责页与页之间的层级区分。两轴各司其职模型天然理解这段话在文档的哪一页这是上百页文档解析不出错的关键细节之一。 效果实测两类基准双双达到 SOTA得益于 SR-SWAUnlimited-OCR-2 在两类难度梯度上均取得最先进水平SOTAMPDocBench数十页级通用长文档解析竞技场MarathonDocBench上百页级随模型同步发布的马拉松基准专测极限超长解析能力。官方 README 中还演示了一次请求解析整本《哈利·波特》的完整回放——输出流贯穿全书、跨页连贯这正是无限视野最直观的证明。 快速上手体验 Unlimited-OCR-2 的三种方式方式一Transformers 快速验证新手首选pip install torch2.13.0 torchvision pillow transformers4.52.1 \ huggingface-hub0.36.0 tokenizers0.21.4 addict2.4.0 einops0.8.2 easydict1.13多页文档用infer_multi一次解析入口见 modeling_unlimitedocr.py按页序传入图片模型自动构建多页提示词每页输出一个PAGE块model_name baidu/Unlimited-OCR-2 tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) model AutoModel.from_pretrained(model_name, trust_remote_codeTrue, torch_dtypetorch.bfloat16).eval().cuda() pages [fyour_doc/page_{i}.jpg for i in range(1, 8)] text, num_tokens model.infer_multi(tokenizer, image_filespages, output_pathoutput/multi, save_resultsTrue)方式二SGLang 服务化部署生产推荐仓库内置定制版 SGLang wheelwheel/sglang-0.5.20.dev13g75b9b06b02-py3-none-any.whl。核心步骤详见 README.mduv pip install wheel/sglang-0.5.20.dev13g75b9b06b02-py3-none-any.whl \ pymupdf1.27.2.2 fastokens0.3.2 python -m sglang.launch_server --model-path baidu/Unlimited-OCR-2 --port 10000超长文档最关键的几个环境变量SGLANG_UOCR_EANABLE_DOC_LIMIT1开启页窗口调度超长文档按窗口逐段推进并复用上一个窗口的 KV 尾部避免重复计算SGLANG_UOCR_DOC_BASE_PAGE_WINDOW10每个窗口的页数。窗口越小峰值显存越低但过小会削弱跨页元素合并能力SGLANG_UOCR_MAX_PAGE_TOKENS20000单页输出上限防止异常长页拖垮全局预算。方式三按场景选择编码模式模式适用场景行为特点base全局视图多页文档每页编码为一个整体视图保留跨页上下文gundam动态切块单页高分辨率动态切成小块再解析细节还原更精细通过推理入口的crop_mode参数或 API 请求中的images_config: {crop_mode: true/false}即可切换。❓ 常见问题Q1512 个参考 token凭什么够用因为远程参考是局部窗口的补充窗口负责眼前内容稀疏参考只需跨页取回真正相关的少数图像块表格、公式、页眉。DASH 路由器正是通过端到端训练学会这种抓重点的能力。Q2需要什么硬件官方验证环境为NVIDIA A800-80GB Python 3.10SGLang 部署时建议--mem-fraction-static 0.7为并发请求预留显存余量。Q3模型整体长什么样底座是一个 12 层 MoE 语言模型64 个路由专家 2 个共享专家见 configuration_deepseek_v2.py视觉端由 SAM ViT-B CLIP-L 双编码器加 MLP 投影器组成见 deepencoder.pySR-SWA 则是 Unlimited-OCR-2 在上一代基础上实现从长视野到无限视野的关键升级。 参考资料项目说明与完整推理指南README.md技术报告Unlimited-OCR-2.pdf稀疏注意力配置块大小、top-k、page2d RoPE 等config.jsonDASH 可微稀疏路由器dash_attention.py滑窗/环形缓冲注意力实现_sparse_base_impl.py推理入口infer/infer_multimodeling_unlimitedocr.pyTriton 稀疏 gather 加速内核sparse_gather_triton.py、sparse_gather_e2e_triton.py赞分享人工智能计算机视觉OCR多模态大模型【免费下载链接】Unlimited-OCR-2项目地址https://ai.gitcode.com/hf_mirrors/baidu/Unlimited-OCR-2点击查看免费下载相关推荐Unlimited-OCR-2-6bit为什么霸榜文档OCRUnlimited-OCR-2系列评测与榜单解读Unlimited OCR 2 6bit为什么霸榜文档OCRUnlimited OCR 2系列评测与榜单解读 Unlimited OCR 2 6bit 是百度人工智能多模态计算机视觉OCR模型量化本地部署为什么 Mono-InternVL-2B-S1-2 的 OCR 能力这么强EViP 内生视觉预训练终极揭秘为什么 Mono InternVL 2B S1 2 的 OCR 能力这么强EViP 内生视觉预训练终极揭秘 Mono InternVL 2B S1 2 是一款为什么Unlimited-OCR-2-6bit处理长文档不爆显存深扒DASH可微稀疏注意力原理为什么Unlimited OCR 2 6bit处理长文档不爆显存深扒DASH可微稀疏注意力原理 Unlimited OCR 2 6bit 是百度 Unlimi人工智能多模态计算机视觉OCR模型量化本地部署上一篇免费开源可商用nanobanana-trending-prompts的CC BY 4.0许可、贡献流程与Discord社区指南下一篇【吐血整理】Parallels Desktop 19 for Mac 永久升级密钥 免费创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
