Apache DataFusion Substrait 测试数据目录全解析:testdata 结构与扩展实战指南

发布时间:2026/9/25 16:03:17

Apache DataFusion Substrait 测试数据目录全解析:testdata 结构与扩展实战指南 大数据数据分析后端【免费下载链接】datafusionApache DataFusion SQL Query Engine项目地址https://gitcode.com/gh_mirrors/datafu/datafusion点击查看免费下载导读本文围绕 Apache DataFusion 仓库中 datafusion/substrait/tests/testdata 目录下的测试数据展开系统讲解 Substrait producer/consumer 测试所依赖的 CSV、Parquet 与计划文件的结构、用途与新增方式。读完本文你将掌握 DataFusion 与 Substrait 互转测试的完整数据组织方式并能在自己的测试工程中正确引用、生成与注册这类测试数据。一、testdata 目录在 Substrait 测试体系中的定位Apache DataFusion 的 Substrait 支持位于 datafusion/substrait crate它提供了一套基于 Substrait 协议一种基于 protobuf 的跨语言关系代数序列化格式的producer生产者与consumer消费者producer 负责把 DataFusion 的逻辑计划LogicalPlan与物理计划ExecutionPlan序列化为 Substrait 计划consumer 负责把 Substrait 计划反序列化为 DataFusion 计划。其核心能力在 datafusion/substrait/src/lib.rs 的 crate 文档中有明确说明可用于让 DataFusion 执行其他系统如 Apache Calcite生成的 Substrait 计划、把 DataFusion 计划交由其他系统执行、跨 FFI 边界如 Python 与 Rust 之间传递查询计划、以及在节点之间传递查询计划。tests/testdata目录正是这一机制的测试数据载体。目录的 Readme.md 明确指出该目录存放的是 Substrait crate 的测试数据且crate 目前仍处于起步init阶段许多功能尚未实现因此这里的测试数据刻意保持简单——围绕 logical plan 与 physical plan 两套 producer/consumer 的最小可用场景设计而非像 parquet-testing 子模块那样覆盖海量真实数据形态。从源码结构看测试体系由三部分组成见 tests组成路径作用集成测试入口tests/substrait_integration.rs聚合cases目录下所有测试用例并运行测试用例tests/cases包含逻辑计划往返、物理计划往返、TPCH 消费、聚合、窗口等用例测试数据tests/testdata存放 CSV / Parquet 示例文件与 Substrait JSON 计划文件二、四类示例数据文件清单与用途testdata根目录下目前包含四类基础数据文件原始文件可点击查看文件说明empty.csv一个空 CSV 文件文件内容为空用于验证空表场景下的计划序列化与消费empty.parquet一个只有元数据metadata的空 Parquet 文件不包含任何数据行data.csv一个简单 CSV 文件6 列、2 行数据覆盖多种基础类型data.parquet由data.csv通过 Pythonpandas生成的 Parquet 文件其中 CSV 与 Parquet 的搭配是有意为之同一份逻辑上相同的数据分别以文本CSV与列存Parquet两种格式存在从而可以分别验证DataFusion 的 CSV / Parquet 数据源在 SubstraitReadRel中的表达ReadRel反序列化回 DataFusion 表扫描计划时 schema 是否保持一致空文件empty 系列在 producer 端是否会被正确处理避免出现空 schema 或空 batch 的序列化崩溃。三、示例数据内容详解data.csv 与 data.parquetdata.csv的实际内容完整继承自 data.csva,b,c,d,e,f 1,2.0,2020-01-01,false,4294967295,a 3,4.5,2020-01-01,true,2147483648,b可以看到其设计刻意覆盖了多种基础数据类型a整数列1、3b浮点列2.0、4.5c日期列2020-01-01两行相同日期便于验证谓词过滤d布尔列false、truee大整数列4294967295、2147483648均超出 32 位有符号整数范围可用于验证类型推断f字符串列带引号的a、b。data.parquet由该 CSV 通过pandas生成原始文档给出的参考命令如下import pandas as pd df pandas.read_csv(data.csv) df.to_parquet(data.parquet)注意原文示例中pandas.read_csv的写法是pd.read_csv的笔误实际使用时请以pd.read_csv(data.csv)为准即先import pandas as pd。需要特别说明的是用pandas生成 Parquet 只是该文件的历史来源仓库内部测试实际通过 DataFusion 自身的 Parquet 数据源读取它pandas并非 DataFusion 的依赖仅作为生成测试数据的外部工具。四、Substrait 计划文件test_plans 与 tpch_substrait_plans除基础数据文件外testdata目录还包含两类 Substrait 计划 JSON 文件它们是 consumer 测试的核心输入。4.1 根目录计划文件与 test_plans根目录下的 contains_plan.substrait.json 是一个典型的 Substrait 计划示例其结构展示了 Substrait JSON 计划的三大构成要素extensionUris/extensions函数扩展注册表例如contains:str_str字符串函数被锚定到functions_string.yaml扩展 URIbaseSchemanamedTable定义读取表的列名、类型与空值约束如NULLABILITY_REQUIRED并指名表名如nationrelations关系树由root→project→filter→read逐层嵌套emit.outputMapping决定输出列的投影。test_plans 目录则存放了大量专项计划文件覆盖了 Substrait 支持的各种关系与表达式形态例如简单查询simple_select.substrait.json、select_count_from_select_1.substrait.json集合运算union_distinct.substrait.json、intersect.substrait.json、intersect_multiset.json、minus_primary.json聚合与分组aggregate_groupings子目录、multilayer_aggregate.substrait.json、aggregate_sorted_no_project.substrait.json窗口select_window.substrait.json、double_window.substrait.json、nested_window_expression.substrait.json连接multiple_joins.json、join_with_expression_key.json、mixed_join_equal_and_indistinct.json表达式scalar_fn_to_built_in_binary_expr_xor.substrait.json、nested_list_expressions.substrait.json、higher_order_function.json边界场景empty相关、duplicate_name_in_union.substrait.json、non_nullable_lists.substrait.json等。4.2 tpch_substrait_plans官方互操作测试集tpch_substrait_plans 目录收录了 TPC-H 全部 22 条查询query_01_plan.json至query_22_plan.json的 Substrait 计划文件。其 README.md 说明这些 JSON 文件源自 substrait-io/consumer-testing 项目的 TPCH consumer 集成测试集用于验证 DataFusion 作为 Substraitconsumer时能否正确读取第三方生态生成的计划。对应测试实现在 tests/cases/consumer_integration.rs测试读取 JSON 计划 → 解析为 protobufPlan→ 通过from_substrait_plan转为 DataFusion 逻辑计划 → 生成物理计划 → 用 insta 快照断言计划结构与预期一致。例如tpch_test_01断言 Q1 被还原为Projection → Sort → Aggregate → Projection → Filter → TableScan(LINEITEM)的结构。五、测试数据是如何被消费的源码级调用链理解 testdata 的实际用法需要顺着测试工具函数走一遍完整调用链。核心工具代码在 tests/utils.rs读取计划read_json(path)用serde_json::from_reader把.substrait.json文件反序列化为substrait::proto::Plan注册 schemaadd_plan_schemas_to_ctx创建DefaultSubstraitConsumer并通过TestSchemaCollector递归遍历计划中的所有Rel提取NamedTable的表名与baseSchema将其转为 DataFusion 的TableReferenceBare / Partial / Full 三级命名空间最后以EmptyTable注册进SessionContext——这样消费计划时即使没有真实数据文件也能完成 schema 校验与计划还原消费计划from_substrait_plan(ctx.state(), proto)见 src/logical_plan/consumer/plan.rs把 SubstraitPlan转回 DataFusionLogicalPlan验证ctx.execute_logical_plan(plan)执行并将结果与快照比对。而 producer 方向对应 src/logical_plan/producer/plan.rs 的to_substrait_plan把LogicalPlan包装为RelRoot收集扩展函数后生成带版本号version_with_producer(datafusion)的 SubstraitPlan。两侧配合即可实现完整往返round-trip测试见 tests/cases/roundtrip_logical_plan.rs 与 tests/cases/roundtrip_physical_plan.rs。对于 CSV/Parquet 文件数据本身物理计划往返测试 roundtrip_physical_plan.rs 展示了data.parquet的注册方式let ctx SessionContext::new(); let explicit_options ParquetReadOptions::default(); ctx.register_parquet(data, tests/testdata/data.parquet, explicit_options) .await?;注册后即可对data表构造 DataFrame、生成物理计划并经producer::to_substrait_rel序列化、consumer::from_substrait_rel还原最终断言两棵物理计划的 display 文本完全一致。六、新增测试数据的完整步骤当需要为某个新算子或新表达式补充测试数据时Readme.md 给出了最小操作路径结合仓库测试惯例可归纳为四步步骤一在 testdata 目录创建数据文件。在 datafusion/substrait/tests/testdata 下新建 CSV 或 Parquet 文件命名与用途一致如xxx.csv/xxx.parquet。如果需要 Parquet 版本可参照上文用pandas从 CSV 生成。步骤二在测试源码中引用该文件。以 DataFusion Parquet 数据源为例在tests/cases下的用例文件或tests/utils.rs中注册表let ctx SessionContext::new(); let explicit_options ParquetReadOptions::default(); ctx.register_parquet(data, tests/testdata/data.parquet, explicit_options)其中tests/testdata/...是相对于datafusion/substraitcrate 根目录的路径测试运行时的当前工作目录即为该 crate 目录因此路径可直接书写。步骤三如果需要消费 Substrait 计划则补充计划 JSON。在test_plans下新建xxx.substrait.json通过utils::test::read_json读取再经add_plan_schemas_to_ctx注册 schema 后调用from_substrait_plan还原。步骤四运行测试验证。在datafusion/substrait目录下执行cargo test若新增了 insta 快照断言首次运行会生成.snap快照文件人工确认结果正确后再通过cargo insta accept接受快照或直接按仓库 CI 中 insta 的约定提交。七、运行与验证测试命令与边界说明整个 Substrait 测试套件通过统一入口运行# 运行 substrait crate 全部测试含 testdata 相关用例 cargo test -p datafusion-substrait # 只运行消费端 TPCH 集成测试 cargo test -p datafusion-substrait -- consumer_integration需要注意的边界与前提Substrait crate 仍处于起步阶段utils.rs的collect_schemas_from_rel中对LocalFiles、ExtensionTable、IcebergTable等读取类型以及部分RelType仍以todo!()或注释占位见 tests/utils.rs并非所有 Substrait 特性都已实现同样地lib.rs 文档提醒Substrait 尚未覆盖 DataFusion 的全部计划与表达式若需要 DataFusion 专属格式的完整往返应使用datafusion-protocratetestdata 是只读的测试资产贡献者应通过“新增文件 注册引用”的方式扩展而非修改既有文件破坏现有快照断言。八、小结testdata 的设计哲学从整体上看tests/testdata体现了 Substrait 测试数据的三层设计最小数据文件层CSV/Parquet用极简数据覆盖基础类型与空文件场景为 producer 提供可序列化的输入专项计划层test_plans按算子/表达式维度组织的 Substrait JSON为 consumer 提供可反序列化的输入互操作计划层tpch_substrait_plans对接 Substrait 官方生态的 TPC-H 计划验证跨引擎兼容性。理解这套数据组织方式后无论你是要为 DataFusion 新增 Substrait 算子支持还是在自己的项目中基于datafusion-substrait做 plan 互转都可以直接复用这里的文件结构与注册模式快速搭建可验证、可回归的测试基线。进一步的实现细节可继续研读 src/logical_planproducer/consumer 双端与 src/physical_plan物理计划互转下的源码。赞分享大数据数据分析后端【免费下载链接】datafusionApache DataFusion SQL Query Engine项目地址https://gitcode.com/gh_mirrors/datafu/datafusion点击查看免费下载相关推荐OpenIM Server 测试数据体系完全解读testdata 目录结构、JSON 格式与 E2E 测试实践OpenIM Server 测试数据体系完全解读testdata 目录结构、JSON 格式与 E2E 测试实践 test/testdata 是 OpenIM即时通讯后端微服务WebSocketA2A 协议实战基于 Google ADK 与 Spring AI 搭建远程智能体服务端与客户端A2A 协议实战基于 Google ADK 与 Spring AI 搭建远程智能体服务端与客户端 导读 本文围绕小傅哥 AI 系列技术文档中关于 A2AA文档教程后端Tink GCP KMS 测试凭据全解析java_src/testdata/gcp 目录结构与自定义凭据配置指南Tink GCP KMS 测试凭据全解析java_src/testdata/gcp 目录结构与自定义凭据配置指南 Tink 是多语言、跨平台的开源密码学库其密码学应用安全上一篇TinaCMS MDX 删除线标记解析与序列化实战markdown-basic-marks-strikethrough 测试用例深度剖析下一篇Element UI Badge 徽标组件完全指南数字角标、最大值截断、红点提示与自定义文本实战创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/9/25 16:03:17

OpenClaw 还是 Hermes?选错了要踩坑,TaoToken 配置避雷指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/9/25 16:48:19

2026校招测评考什么?网申测评如何通过 + 高分攻略

一、网申测评,到底在筛选什么2026届校招的网申测评环节正在发生一个微妙但重要的变化:企业不再只看你“答对了多少题”。北森AI人才科学研究院发布的报告显示,2026年预计有95%的应届生在求职中使用AI工具,一年前这个数字还是66.7%…

2026/9/25 16:48:19

基于SpringBoot的大学生科技社团管理系统设计与实现

温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 1. 项目背景与意义 随着高校学生社团数量的不断增长,传统的人工管理方式在社团信息登记、活动组织、成员管理等方面逐渐暴露出效率低、易出错、信息不透明等…

2026/9/25 16:48:19

计算机为什么用二进制?十进制会有什么问题【庖丁解牛】

根因 计算机底层依靠电子元器件的物理状态来表达信息。硬件最容易稳定实现的是两种状态:通电/断电、高电平/低电平、磁畴正向/反向。二进制刚好只有0、1两个符号,完美匹配硬件双稳态特性;如果强行做十进制,需要电路稳定区分10种不…

2026/9/25 16:48:19

合肥纹眉哪家技术自然不生硬?合肥做野生眉避坑攻略

很多合肥的姐妹在纠结纹眉,怕做完像蜡笔小新、颜色发蓝发红,想找一家审美在线、不流水线操作的门店。在合肥做半永久纹眉,核心不是越便宜越好,重点看老师的审美、色料品质,还有会不会根据五官定制眉形。我对比了好几家…

2026/9/25 16:43:18

SNOMED CT 关系型数据库落地实战:语义完整性与SQL查询优化

简介:本资源是一套面向医疗信息学开发者与医学知识图谱工程师的SNOMED CT术语系统数据库化工具集,解决临床术语标准化数据在关系型及图数据库中快速建模、加载与查询的实际问题。包内共115个文件,涵盖64个SQL脚本(用于MySQL/Postg…

2026/9/24 20:24:47

GAMP 5 基于风险的计算机化系统验证:软件分类与审计追踪实践

简介:《A Risk-Based Approach to Compliant GxP Computerized Systems》即业内熟知的GAMP 5指南,面向制药企业质量与IT合规人员、验证工程师及计算机化系统管理者,用于解决GxP法规环境下系统合规性难以科学落地的问题。文档以风险管理为主线…

2026/9/23 12:06:55

安全托管MSSP实战:从静态防御到人机协同的攻防运营与应急响应

简介:这份PPT围绕互联网业务安全托管服务展开,面向企业安全负责人、IT运维人员及关注MSSP/MSS选型的读者,重点回应传统安全过度依赖人工、碎片化静态防御难以对抗产业化攻击等痛点。资源共1个pptx文件,包体约30.63MB,以…

2026/9/25 0:02:35

AI元人文:从工具使用到思维重构的深度探索

最近半年我一直在琢磨一件事:AI元人文到底是什么?说白了,就是“用元视角重新审视人与AI的关系”,也在“探索AI如何反向逼着我们发现自己的思考边界”。标题里的“元探索”,在我看就是一层套一层的追问——当你用AI解决…

2026/9/25 0:02:35

Python+CNN车牌识别实战:从数据预处理到模型训练与部署

简介:基于Python与卷积神经网络的车牌识别项目,面向计算机视觉初学者及智能交通开发者,目标是帮助用户掌握从数据预处理、模型构建到实际部署的完整流程。压缩包共25个文件,包含jpg/png图像样本、py训练脚本、md说明文档、dat数据…

2026/9/25 0:02:35

Vim基础操作全攻略:保存退出、模式切换与高频命令实战

1. 项目概述1.1 核心需求解析今天聊聊Vim。写这个题目的原因是:几乎每个后端开发者、运维人员、数据工程师某天都会遇到一个场景——深夜加班,服务器登录界面只有黑底白字,编辑器只有vi/vim,你必须在五分钟内完成一次配置修改并保…

2026/9/22 16:34:32

USB Type-C PCB布局分区设计:电源、高速信号与PD协议全攻略

做硬件这行,Type-C接口算是典型的“看着简单,做起来全坑”的东西。光引脚就24个,高低速信号、电源、控制线全部塞在一个小小的连接器里,如果PCB布局不做规划,打样回来基本就是“插上没反应”、“高速掉线”、“静电一打…

2026/9/22 20:01:30

系统编程学习原型如何补齐稳定性边界

系统编程学习原型如何补齐稳定性边界预算有限时&#xff0c;我先优化明显多余的复制&#xff0c;而不是猜测性地换容器。用借用传递只读数据通常就能减少分配&#xff1a; fn parse(line: &str) -> Result<Item, Error> { /* ... */ }用基准确认热点确实在分配&am…

2026/9/22 13:25:41

雨花区哪家财务公司代理记账比较好?

在雨花区&#xff0c;企业处理财税事务常常面临诸多挑战&#xff0c;选择一家靠谱的财务公司至关重要。湖南巨勤财务管理咨询有限公司就是本地正规实体财税服务机构&#xff0c;深耕本地工商财税行业多年&#xff0c;熟悉当地工商局、税务局最新政策与申报流程。主营公司注册、…

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑