LiteParse 性能调优：num-workers 并发 OCR 调参完全指南

LiteParse 性能调优num-workers 并发 OCR 调参完全指南【免费下载链接】liteparseA fast, helpful, and open-source document parser项目地址: https://gitcode.com/GitHub_Trending/li/liteparseLiteParse 是一款快速、轻量、开源的文档解析工具支持 PDF、图片等格式并输出 Markdown/JSON/Text。当文档需要 OCR 识别时解析速度往往成为瓶颈——而num-workers正是控制 OCR 并行度的核心参数调对它就能显著加速批量处理。本文带你从默认值、设置方式到调优技巧完整掌握 LiteParse 的并发 OCR 调参方法。num-workers 是做什么的在 LiteParse 中num-workers决定同时有多少页进行 OCR 识别concurrent OCR workers每一页作为一个独立任务被信号量Semaphore限流最多同时有num-workers个识别任务在运行内置 Tesseract 引擎的识别会放到阻塞线程上执行HTTP OCR 服务如 EasyOCR、PaddleOCR则复用该并发度发起请求识别结果最后统一合并OCR Merge回原页面保持文本顺序与版面布局不变。相关实现在 crates/liteparse/src/ocr_merge.rs配置定义在 crates/liteparse/src/config.rs。默认值是多少如何确认默认策略非常合理一般无需手动设置CPU 核心数 − 1最小为 1。fn default_num_workers() - usize { std::thread::available_parallelism() .map(|n| n.get().saturating_sub(1).max(1)) .unwrap_or(1) }来源crates/liteparse/src/config.rs也就是说8 核机器上默认是 7 个 OCR 并发。只有当你观察到 CPU 利用率低、或 OCR 服务器成为瓶颈时才需要手动覆盖它。一键设置 num-workers 的步骤CLI 方式最快在解析命令后追加--num-workerslit parse document.pdf --num-workers 8完整参数说明见官方文档 docs/src/content/docs/liteparse/cli-reference.md参数表中对它的描述是“Pages to OCR in parallel默认 CPU cores - 1”。Python 库方式parse接受num_workers关键字参数适合写进批量处理脚本result parser.parse( scans.pdf, ocrTrue, num_workers4, # 并发 OCR 工作数默认为 CPU 核心数 - 1 )接口定义位于 packages/python/liteparse/parser.py。如何找到最佳值3 步调优法先跑默认值记录一份 10~20 页扫描件的总耗时作为基线沿 CPU 核心数 ± 2 的范围试探如 8 核试 4 / 6 / 8 / 10每档跑同一批文档取平均看两个指标做取舍内置 Tesseract吃 CPU最佳值通常接近核心数 − 1再往上收益递减外部 HTTP OCR 服务吃网络/GPU瓶颈在服务端num-workers设太大只会让请求排队反而拉长总时间2~4 往往更稳。 经验法则机器独占跑 Tesseract 时别超过核心数调用远程 OCR 服务时从 4 开始试逐步上调直到吞吐不再增长。常见坑与注意事项值最小为 1传 0 或负数会被自动纠正为 1不会出现0 并发卡死线程池保护并发许可在异步上下文获取最多占用num-workers个阻塞线程其余线程留给 HTTP 客户端做 DNS 解析因此并发调大也不会拖垮其它请求设计细节见 crates/liteparse/src/ocr_merge.rsWASM/浏览器端浏览器里没有多核并行空间该参数意义有限无需调参调参前先确认真的在做 OCR纯原生文本 PDF 根本不会触发 OCR 通道调num-workers对它们没有意义。LiteParse 会按“文本稀疏度”自动判断哪些页需要识别。延伸阅读并发 OCR 与 OCR 引擎选型指南docs/src/content/docs/liteparse/guides/ocr.md完整 CLI 参考docs/src/content/docs/liteparse/cli-reference.md配置项总定义crates/liteparse/src/config.rsPython 绑定文档packages/python/README.md一句话总结默认值核心数 − 1已经很好本地 Tesseract 保持默认或微调即可连接远程 OCR 服务时从小值起步逐步试探用同一批文档对比耗时让数据替你选值。【免费下载链接】liteparseA fast, helpful, and open-source document parser项目地址: https://gitcode.com/GitHub_Trending/li/liteparse创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考