Elixir 中使用 Xberg pages 配置:页面提取与页面标记的完整指南

发布时间:2026/11/16 15:49:51

Elixir 中使用 Xberg pages 配置:页面提取与页面标记的完整指南 后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载导读本文聚焦于 Xberg 的pages配置项——一个控制 PDF 等文档页面级提取行为的核心开关。通过extract_pages与insert_page_markers两个字段你可以让提取结果按页组织、并在正文中插入可识别的分页标记从而为 RAG 检索、逐页校对、章节定位等场景提供稳定的页面锚点。读完本文你将掌握在 Elixir 中通过Xberg.extract/Xberg.extract_async传 JSON 配置启用页面提取、理解底层配置结构与自动规范化规则并能在真实测试用例与源码中验证行为。什么是 pages 配置两个开关 一个格式模板在 Xberg 的提取配置中pages是一组独立于chunking、ocr等模块的页面处理选项。它位于顶层ExtractionConfig.pages字段类型为OptionPageConfig为None时页面跟踪完全关闭源码定义见 crates/xberg/src/core/config/page.rs字段类型默认值作用extract_pagesboolfalse是否把每一页提取为独立的数组元素写入结果中的pages字段ExtractedDocument.pagesinsert_page_markersboolfalse是否在主内容字符串中插入分页标记marker_formatstring\n\n!-- PAGE {page_num} --\n\n页面标记的模板格式{page_num}是页码占位符会被替换为实际页码默认值在PageConfig::default()中由源码直接确认extract_pages: false、insert_page_markers: false、marker_format同上并有对应的单元测试test_page_config_default锁定page.rs#L59-L69。也就是说不传pages配置时页面既不会被独立提取正文中也不会有任何分页标记。Elixir 实战一行 JSON 配置启用页面提取在 Elixir 绑定中配置通过config参数以 JSON 字符串形式传入Xberg.extract或Xberg.extract_async。官方契约用例e2e/elixir/test/contract_test.exs#L27052-L27064展示了两者同时启用的完整写法input_value %Xberg.ExtractInput{kind: uri, uri: https://example.com/pdf/fake_memo.pdf} result Xberg.extract_async(input_value, {\pages\:{\extract_pages\:true,\insert_page_markers\:true}}) IO.inspect(Enum.at(result.results, 0).mime_type) IO.inspect(Enum.at(result.results, 0).content)等价于使用同步接口{:ok, result} Xberg.extract( input: %Xberg.ExtractInput{kind: uri, uri: https://example.com/pdf/fake_memo.pdf}, config: {\pages\:{\extract_pages\:true,\insert_page_markers\:true}} ) # 断言 MIME 类型为 PDF assert Enum.at(result.results, 0).mime_type application/pdf # 正文长度 10 assert byte_size(Enum.at(result.results, 0).content) 10 # 正文中应包含页面标记文本 PAGE assert String.contains?(to_string(Enum.at(result.results, 0).content), PAGE)关键要点input的kind可以是:uri、:bytes等配合config一起调用config是 JSON 字符串嵌套字段用点号语义逐层解析此处为pages.extract_pages、pages.insert_page_markers。断言表明启用insert_page_markers后正文content中会出现 PAGE 字样——这是默认标记格式!-- PAGE {page_num} --的体现。该用例同时存在于跨语言契约文件 fixtures/contract/config_pages.json其断言与 Elixir 版一一对应results[0].mime_type application/pdf、content长度 ≥ 10、包含PAGE说明页面配置的行为是所有语言绑定共享的同一契约。底层原理一extract_pages 如何产出独立页面数组extract_pages: true时提取结果会额外携带按页组织的独立内容。从 crates/xberg/src/core/config/extraction/core.rs#L168-L170 可以看到pages字段在ExtractionConfig中的位置与注释Page extraction configuration (None no page tracking)。在 PDF 提取路径中crates/xberg/src/extractors/pdf/extraction.rs#L425-L437 展示了实际接线逻辑当层次结构hierarchy开启而pages.extract_pages未被显式打开时代码会自动把extract_pages置为true——因为层级结构输出需要页面边界信息才能给每个元素分配正确的页码。更值得关注的是配置的自动规范化规则见 crates/xberg/src/core/config/extraction/core.rs#L890-L917normalized()方法当result_format为ElementBased基于元素的结果格式而页面提取未开启时会自动启用extract_pages——否则所有元素都会被错误地标记为page_number 1当配置了chunking文本分块而页面提取未开启时同样会自动启用extract_pages——因为分块器需要页面边界来给每个 chunk 分配正确的页码。这意味着你只需专注于自己的核心配置Xberg 会在需要页面信息的场景下自动补齐extract_pages避免输出全是一页的错误结果。底层原理二insert_page_markers 与 marker_format 模板insert_page_markers: true时提取器会在正文内容中按页插入标记。标记格式由marker_format控制占位符{page_num}会被替换为实际页码默认格式\n\n!-- PAGE {page_num} --\n\n采用 HTML 注释形式对绝大多数下游解析器包括 Markdown 渲染、LLM 提示构造透明无副作用。源码 page.rs#L49-L57 中还有一个容易被忽略的细节——marker_line_regex()它会把marker_format中每一处{page_num}替换为\d并整体转义生成一个整行即标记的正则。该正则的作用是识别正文中已渲染的标记行让各格式渲染器如 Markdown 渲染器将标记行原样透传、不当作正文改写。这也解释了为什么标记默认带前后换行保证它独占一行、可被正则精确匹配。如果你希望使用自己的标记格式例如无 HTML 注释的纯文本可传入{pages:{extract_pages:true,insert_page_markers:true,marker_format:\n PAGE {page_num} \n}}注意marker_format中{page_num}是必需的占位符且marker_line_regex假定每个标记独占一行^...$锚定因此自定义格式建议保留行首行尾的换行。页面配置与分块chunking的协同页面提取通常不是孤立使用的。常见的组合场景是页面 分块先按页组织内容再让分块器基于页面边界切块使每个 chunk 都能携带准确的first_page/last_page元数据。这一点在 page.rs 模块注释 中有明确说明Page range tracking in chunk metadata (first_page/last_page) is automatically enabled when page boundaries are available and chunking is configured.而 crates/xberg/src/core/split.rs#L89 中extract_pages true的赋值进一步印证分块管线在内部解析页面配置并强制要求页面提取开启以保证 chunk 的页码元数据可用。因此当你做 RAG 检索增强检索结果回指到具体页码时推荐同时开启extract_pages与chunking。验证方法从契约文件到端到端测试如果你想在本地复现或验证上述行为仓库提供了两条路径跨语言契约无需服务器查看 fixtures/contract/config_pages.json。它定义了config{pages:{extract_pages:true,insert_page_markers:true}}、mock 响应/pdf/fake_memo.pdf返回../test_documents/pdf/fake_memo.pdf与三条断言。fixtures/contract目录下的契约 JSON 由 Alef 自动生成各语言绑定代码是所有语言的单一事实来源。Elixir 端到端测试运行 e2e/elixir/test/contract_test.exs 中的config_pagesdescribe 块。它通过 mock 服务器提供 PDF 文件断言 MIME 类型为application/pdf、正文非空且包含PAGE。你可以在本地启动 mock 服务器参考 scripts/e2e/run-with-mock-server.sh再执行对应测试用例。小结pages配置是 Xberg 中页面意识page awareness的最小入口extract_pages决定页面是否独立成数组insert_page_markers决定正文是否带有可解析的分页标记marker_format决定标记的呈现模板。本文给出的 Elixir 调用方式可直接复制运行结合normalized()的自动规范化逻辑你甚至可以在元素级结果或分块场景下无感获得正确的页码归属。对于任何需要逐页定位、逐页处理或多页文档检索增强的应用这一配置都是必选项。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐Xberg 的 PageConfigPDF 分页提取与页面标记配置实战指南CXberg 的 PageConfigPDF 分页提取与页面标记配置实战指南C 导读 本文以 Xberg 仓库中的契约测试文档 config_pages.后端AI 应用NLP使用 xberg 的 PageConfig 提取分页内容页面数组与页面标记Page Markers实战指南使用 xberg 的 PageConfig 提取分页内容页面数组与页面标记Page Markers实战指南 导读 在从多页 PDF、扫描件或排版复杂的文档后端AI 应用NLPXberg 页面级抽取与页面标记配置实战extract_pages / insert_page_markers 契约解析与实现原理Xberg 页面级抽取与页面标记配置实战extract_pages / insert_page_markers 契约解析与实现原理 本篇技术指南围绕 Xber后端AI 应用NLP上一篇纯强化学习突破DeepSeek-R1-Zero开源推理模型训练范式重构下一篇5分钟掌握FanControl风扇控制软件完整中文使用指南创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/11/15 18:10:41

六安开发区网站新手入门:5步搞定SEO让百度首页见你

六安开发区网站新手入门:5步搞定SEO让百度首页见你 刚接手六安开发区的网站项目,是不是对着后台发懵?域名解析指向哪里,服务器配置怎么填,这些底层逻辑一旦搞不懂,后面所有优化都是空中楼阁。很多甲方对接人跟我说,技术团队给了一堆代码和参数,听…

2026/11/16 15:49:45

山东哪里能办电工证保姆级教程:外省证怎么转?鹤壁应届生必看

山东哪里能办电工证保姆级教程:外省证怎么转?鹤壁应届生必看 之前考的证在外省能不能转过来?这是很多电工、焊工、高处作业等特种作业人员最关心的问题,尤其是像我这样的鹤壁应届工程类毕业生,毕业就想着考个证,进工地、进工厂,但手头有个外省的电工证…

2026/11/16 15:49:45

电工证干嘛用到期换证流程别怕,电子证书操作全在这儿

电工证干嘛用到期换证流程别怕,电子证书操作全在这儿 实操考试心里没底怕挂科?你不是一个人。我见过太多人,拿着电工证上岗,却因为没搞懂证书的用途、换证流程、甚至连电子证书怎么查都不清楚,最后耽误了工作。今天,我就从三门峡某项目现场管理员的角度…

2026/11/16 15:49:45

矿山矿井电工证有效期多久?良心建议帮你避坑

矿山矿井电工证有效期多久?良心建议帮你避坑 你是不是也在网上看到一堆“包过”“包拿证”的广告,心里直打鼓,不知道哪一家靠谱?别急,今天我就从 矿山矿井电工证 入手,告诉你 有效期多久 , 怎么报名 , 哪里才不会被坑 ,还有…

2026/11/16 15:49:45

中山电工证办理网上查询:实操考试心里没底怕挂科怎么办

中山电工证办理网上查询:实操考试心里没底怕挂科怎么办 实操考试心里没底怕挂科,这是很多准备报考中山电工证的学员真实写照。尤其是对那些没有太多经验的新人来说,面对高压电工证、低压电工证等不同类别,更是不知从何下手。如果你正在准备中山电工证办理…

2026/11/16 15:49:45

农村电工证培训保姆级教程:学历不高也能报上名

农村电工证培训保姆级教程:学历不高也能报上名 你是不是也觉得学历不高,根本报不上农村电工证培训?别慌,我之前就是漯河那边的转岗从业者,学历只有初中,但照样顺利考下了低压电工证。今天我就把整个流程拆解给你看, 保姆级教程…

2026/11/16 7:29:52

电工证考试口诉怎么准备值不值得考

电工证考试口诉怎么准备值不值得考 实操考试心里没底怕挂科,这是大多数准备考电工证的人心里最真实的感受。尤其是面对【电工证考试口诉】环节,很多人不知道该怎么准备,甚至担心自己说不好就被淘汰。其实,只要掌握方法, 值不值得考…

2026/11/16 5:30:20

桑植县考电工证千万别踩坑!报名全流程教你避坑

桑植县考电工证千万别踩坑!报名全流程教你避坑 你是不是也遇到过这种情况:想考个电工证,但不知道从哪儿下手,怕被中介坑,怕花冤枉钱,更怕考了证还不能用?别急,这正是你该看这篇文章的原因。在桑植县考电工证,确实有很多人被坑过,但只要你知道流程、…

2026/11/16 0:00:11

黎城电工证查询报名费多少钱 内部消息告诉你怎么避开中介陷阱

黎城电工证查询报名费多少钱 内部消息告诉你怎么避开中介陷阱 你是不是也和我一样,想考电工证,但不知道去哪报名,怕被中介坑?最近网上有不少人问“黎城电工证查询报名费多少钱”,结果一查,信息五花八门,真假难辨。别担心,今天我就从一线从业者的角度…

2026/11/16 0:00:11

青岛崂山区电工证培训通过率揭秘:外省证书怎么转过来?

青岛崂山区电工证培训通过率揭秘:外省证书怎么转过来? 之前考的证在外省能不能转过来?这个问题困扰着很多在外地打工的电工,尤其是像南阳卧龙区的建筑工人,他们常年在工地作业,手上持有电工证是基本要求,但很多人因为工作流动性大,担心证书不能转到本…

2026/11/15 4:46:37

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/16 3:17:47

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑