SeaTunnel TDengine Source Connector 实战指南:配置、原理与数据同步

发布时间:2026/11/22 9:57:58

SeaTunnel TDengine Source Connector 实战指南:配置、原理与数据同步 数据工程大数据批处理流处理【免费下载链接】seatunnelSeaTunnel is a next-generation super high-performance, distributed, massive data integration tool.项目地址https://gitcode.com/gh_mirrors/sea/seatunnel点击查看免费下载本指南以 TDengine 官方文档 为主线结合connector-tdengine模块源码与 e2e 测试系统讲解如何在 SeaTunnel 中通过 TDengine Source 连接器批量读取 TDengine 时序数据。读完你将掌握该连接器的全部配置参数、正确的连接串与 SQL 语义、按子表拆分并行读取的工作原理、类型映射规则以及可复制运行的完整配置示例。连接器概述TDengine Source 连接器用于读取外部 TDengine 数据源的数据Read external data source data through TDengine在 SeaTunnel 中注册的插件名为TDengine。它是标准的 v2 连接器通过AutoService(SeaTunnelSource.class)自动注册声明位于 TDengineSource.java并在 plugin-mapping.properties 中映射为seatunnel.source.TDengine connector-tdengine。从源码结构看该连接器基于 SeaTunnel Source API 实现了SeaTunnelSource、SourceReader、SourceSplitEnumerator三件套组件类职责SourceTDengineSource.java校验配置、建立连接、获取 Stable 元数据Split EnumeratorTDengineSourceSplitEnumerator.java按子表拆分数据、分配分片、管理快照ReaderTDengineSourceReader.java执行查询、转换数据类型、输出SeaTunnelRowKey features✅ batch批式只支持批处理不支持流模式❌ stream流式✅ exactly-once精确一次❌ column projection列投影——但支持查询 SQL通过查询语句本身可以达到投影效果✅ parallelism并行度按子表拆分实现并行读取❌ 用户自定义分片对应的Boundedness.BOUNDED实现见 TDengineSource.java#L95-L97源码注释也明确指出该连接器当前批读、单条写出后续有待优化为流式与批量写出。配置项详解连接器完整的配置项如下表与官方文档保持一致默认值取自 TDengineSourceConfig.java 源码名称类型是否必填默认值说明urlstring是-TDengine 的 JDBC 连接地址usernamestring是-登录用户名passwordstring是-登录密码databasestring是-数据库名stablestring是-超级表stable名lower_boundlong是-迁移时间窗口下界upper_boundlong是-迁移时间窗口上界url [string]TDengine 的连接地址支持 RESTful 与原生两种连接方式。示例jdbc:TAOS-RS://localhost:6041/驱动加载逻辑见 TDengineUtil.java若 URL 以jdbc:TAOS-RS://开头则加载com.taosdata.jdbc.rs.RestfulDrivertaosadapter REST 驱动默认端口 6041否则加载原生驱动com.taosdata.jdbc.TSDBDriver默认端口 6030。连接器依赖的驱动版本为taos-jdbcdriver 3.0.3见 connector-tdengine/pom.xml。username [string]连接 TDengine 时使用的用户名如root。password [string]连接 TDengine 时使用的密码如taosdata。database [string]要读取数据的数据库名如power。注意该配置是必填项连接器在prepare阶段会调用CheckConfigUtil.checkAllExists强制校验url/database/stable/username/password五个配置全部非空否则抛出CONFIG_VALIDATION_FAILED异常见 TDengineSource.java#L81-L92。stable [string]要读取的超级表stable名如meters。TDengine 中子表subtable会继承超级表的 schema读取时实际遍历的是该超级表下的所有子表。lower_bound [long]迁移时间窗口的下界起始时间。它是一个时间字符串如2018-10-03 14:38:05.000虽然配置表类型标注为 long但实际以字符串形式参与 SQL 拼接。upper_bound [long]迁移时间窗口的上界结束时间。同样以时间字符串形式配置。关于时间窗口的语义见 TDengineSourceSplitEnumerator.java#L100-L112 源码窗口为左闭右开区间——下界生成ts lower_bound条件上界生成ts upper_bound条件两者用and连接。也就是说读取范围覆盖[lower_bound, upper_bound)。timezone [string]源码扩展项官方文档配置表中未列出但源码 TDengineSourceConfig.java#L46-L49 中已预留timezone参数默认值为UTC。其含义是jdbc:TAOS-RS中 timezone 参数只作用于 taosadapter 服务端因此该参数代表服务端时区设置。当前配置解析已支持但分片 SQL 构建时尚未使用该字段可推断为预留扩展项。工作原理从元数据发现到子表拆分1. 元数据获取TDengineSource.prepare()阶段通过 getStableMetadata 完成两件事构造 JDBC URLurl database ?user username password password并调用checkDriverExist检查/注册驱动随后建立连接执行desc database.stable获取超级表列结构与首列时间戳字段名查询information_schema.ins_tables元数据表列出该数据库下隶属于该超级表的所有子表名将列结构映射为SeaTunnelRowType并将子表名列subtable_name作为隐藏字段插到 schema 第一位addHiddenAttribute方便下游识别每条数据来自哪个子表。2. 分片与并行TDengineSourceSplitEnumerator负责把整个读取任务拆分为每个子表一个 splitgetAllSplits()遍历元数据发现的所有子表为每个子表生成一条带时间窗口过滤的查询 SQLTDengineSourceSplitEnumerator.java#L79-L88分片分配采用哈希取模策略(splitId.hashCode() Integer.MAX_VALUE) % numReaders将子表分片按并行度均匀打散到各 ReaderTDengineSourceSplitEnumerator.java#L63-L65每个 split 携带一条最终查询语句TDengineSourceSplit由 Reader 直接执行因此并行度越高、子表越多读取吞吐越大。由于子表是天然的并行单元无需用户自定义 split这也是特性表中“parallelism 支持、用户自定义 split 不支持”的源码级原因。3. 数据读取与类型转换TDengineSourceReader在每个分片上执行查询将 JDBC 结果逐行转为SeaTunnelRow行首写入split.splitId()作为子表名对应隐藏列subtable_name类型转换规则见 TDengineSourceReader.java#L153-L160Timestamp转为LocalDateTimebyte[]转为String读取完成后调用signalNoMoreElement()结束批次。类型映射规则超级表列类型到 SeaTunnel 数据类型的映射由 TDengineTypeMapper.java 实现核心规则如下TDengine 类型SeaTunnel 类型备注BOOL / BITBOOLEANTINYINT / SMALLINT / MEDIUMINT / INT / INTEGER / YEAR含 UNSIGNEDINTINT UNSIGNED / INTEGER UNSIGNED / BIGINTLONGBIGINT UNSIGNEDDECIMAL(20, 0)DECIMAL / DECIMAL UNSIGNEDDECIMAL(38, 18)DECIMAL 会打印可能溢出的告警日志FLOAT / FLOAT UNSIGNEDFLOATUNSIGNED 会打印可能溢出的告警日志DOUBLE / DOUBLE UNSIGNEDDOUBLEUNSIGNED 会打印可能溢出的告警日志CHAR / VARCHAR / TEXT 系列 / JSON / LONGTEXTSTRINGDATELOCAL_DATETIMELOCAL_TIMEDATETIME / TIMESTAMPLOCAL_DATE_TIMEBLOB 系列 / BINARY / VARBINARYBYTESPrimitiveByteArrayTypeGEOMETRY / UNKNOWN不支持抛出UNSUPPORTED_DATA_TYPE异常该映射逻辑有对应的单元测试 TDengineTypeMapperTest.java 验证例如BOOL - BOOLEAN、CHAR - STRING。完整配置示例Source 配置官方文档给出的标准示例TDengine.mdsource { TDengine { url : jdbc:TAOS-RS://localhost:6041/ username : root password : taosdata database : power stable : meters lower_bound : 2018-10-03 14:38:05.000 upper_bound : 2018-10-03 14:38:16.800 result_table_name tdengine_result } }该示例与 e2e 测试场景高度一致。测试 TDengineIT.java 中构造了power.meters超级表包含ts TIMESTAMP, current FLOAT, voltage INT, phase FLOAT, off BOOL五列及location BINARY(64), groupId INT两个标签子表包括d1001~d1004共 8 行测试数据。示例中的时间窗口恰好覆盖这些数据的时间戳从而完整读取 8 条记录。完整任务配置Source Sink以下是一个可运行的完整配置Source 读取 TDengineSink 写入控制台便于验证env { parallelism 4 job.mode BATCH } source { TDengine { url jdbc:TAOS-RS://localhost:6041/ username root password taosdata database power stable meters lower_bound 2018-10-03 14:38:05.000 upper_bound 2018-10-03 14:38:16.800 result_table_name tdengine_result } } transform { # 可选在此进行过滤、字段映射等转换 } sink { Console { source_result_name tdengine_result } }配置要点result_table_name声明 Source 产出的虚拟表名下游 Sink 通过source_result_name引用每条输出行的第一个字段为subtable_name即子表名如d1001之后依次是超级表定义的列parallelism决定分片分配粒度建议结合子表数量设置让各 Reader 负载均衡若不需要全量数据可通过lower_bound/upper_bound裁剪时间窗口实现增量迁移。运行前提与限制驱动依赖需引入taos-jdbcdriver连接器 pom 中固定为 3.0.3。当 JDBC URL 以jdbc:TAOS-RS://开头时使用 RESTful 驱动对应 taosadapter端口 6041否则使用原生驱动端口 6030必填校验url、database、stable、username、password五项缺失任何一个都会在prepare阶段直接报错批式语义该 Source 为有界BOUNDED批式读取读取完所有分片即结束任务不支持持续消费时间窗口[lower_bound, upper_bound)左闭右开上/下界可单独省略省略一侧则只生成单边过滤条件子表拆分每个子表一个分片子表数量即分片数量上限如果超级表没有子表则不会产生任何数据。总结TDengine Source 连接器为 SeaTunnel 提供了开箱即用的 TDengine 批量读取能力通过url/username/password建立连接按database.stable定位超级表自动发现其下所有子表并按子表拆分并行读取配合lower_bound/upper_bound实现时间窗口迁移。结合 TDengineSourceConfig.java、TDengineSourceSplitEnumerator.java 等源码与 TDengineIT.java 集成测试开发者可以快速上手将 TDengine 中的时序数据迁移到其他存储或分析引擎。赞分享数据工程大数据批处理流处理【免费下载链接】seatunnelSeaTunnel is a next-generation super high-performance, distributed, massive data integration tool.项目地址https://gitcode.com/gh_mirrors/sea/seatunnel点击查看免费下载相关推荐SeaTunnel Firebase Source Connector 实战指南从 Firebase Realtime Database 批量同步数据SeaTunnel Firebase Source Connector 实战指南从 Firebase Realtime Database 批量同步数据 本文全数据集成ETL大数据批处理流处理变更数据捕获SeaTunnel GitLab Source Connector 实战指南从 REST API 读取数据与分页同步SeaTunnel GitLab Source Connector 实战指南从 REST API 读取数据与分页同步 本文聚焦 SeaTunnel 的 Git数据集成ETL大数据批处理流处理变更数据捕获OI Wiki 抽象代数入门群、环、域的基本概念与算法竞赛应用OI Wiki 抽象代数入门群、环、域的基本概念与算法竞赛应用 本篇文章以 OI Wiki 数学部分的《代数基础》一章为骨架系统介绍抽象代数中最基础也最常用数据工程大数据批处理流处理上一篇Angular NG05104 根元素未找到Root element was not found错误全解析成因、复现与修复下一篇Dcat Admin 安装与配置终极指南10分钟快速搭建高效后台管理系统创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
延伸阅读

更多相关文章

2026/11/22 9:57:58

Paperclip范式:轻量级AI Agent协同开发实践指南

1. “Paperclip”不是回形针:它是一套AI Agent协同开发范式你搜“paperclip”,第一反应是办公桌抽屉里那枚银色小金属?别急——在2024年中后期的开发者社区里,paperclip 已悄然成为一类轻量级、可组合、面向任务流的AI Agent开发范…

2026/11/21 19:42:01

从零构建大模型:AI工程全链路实战指南

1. "从零开始"到底意味着什么:先想清楚再动手这两年"AI engineering"几乎成了最热的岗位关键词,而GitHub上诸如build a reasoning model from scratch、build a large language model from scratch这类项目动辄上万star。很多人一上…

2026/11/22 9:57:43

井下电工证考试技巧官方回应来了,实操考试心里没底怕挂科?看这里

井下电工证考试技巧官方回应来了,实操考试心里没底怕挂科?看这里 你是不是每次实操考试前都紧张得睡不着?心里没底,怕挂科?别急,官方回应来了!最近多地陆续公布了关于井下电工证考试的新规定,尤其是实操部分,很多考生都反馈考试难度提升,现场操作要…

2026/11/22 9:57:43

许昌高压电工证复审官方回应:工地太忙怎么高效通过考试

许昌高压电工证复审官方回应:工地太忙怎么高效通过考试 工地太忙根本没时间复习考试,这是很多一线电工的真实写照。特别是像许昌这样的工地上,项目紧、任务重,高压电工证的复审又不能落下,否则一旦证书失效,直接影响到工作和收入。但官方回应也指出,高…

2026/11/22 9:57:43

无锡低压电工证报名费多少?实操考试心里没底怕挂科,良心建议来了

无锡低压电工证报名费多少?实操考试心里没底怕挂科,良心建议来了 实操考试心里没底怕挂科?报名费贵不贵?备考资料怎么选?这些问题是很多打算报考无锡低压电工证的学员最关心的问题。别慌,下面我从报考流程、考试内容、报名费标准、备考技巧等多个维度给…

2026/11/22 9:57:43

平顺县电工证多少钱?外省证怎么转过来

平顺县电工证多少钱?外省证怎么转过来 之前考的证在外省能不能转过来?你是不是也在纠结这个事?特别是如果之前在外地考的电工证,想回平顺县本地工作,又怕证书没用、还得重新考,这确实是个让人头疼的问题。但好消息是,只要符合相关规定,外省电工证是可…

2026/11/22 9:57:43

电监委发电工证多少钱?工地太忙根本没时间复习考试

电监委发电工证多少钱?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多一线电工的共同困扰。尤其是像信阳浉河区这种工程频繁的区域,电工证不仅是上岗的门槛,更是职业发展的关键。但很多人对 电监委发电工证 到底 多少钱…

2026/11/22 9:52:43

县安监局可以考电工证怎么转?官方报名入口你知道吗

县安监局可以考电工证怎么转?官方报名入口你知道吗 之前考的证在外省能不能转过来?这是很多从事建筑、电力、机电等行业的工友最头疼的问题。特别是在河南、山东、四川等劳务输出大省,不少从业人员在外地工作多年,手中的特种作业证却因为地区差异无法使用…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/22 0:09:40

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/22 0:09:40

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/22 0:09:40

高压电工证还能年审吗良心建议来了,学历不高也能考!

高压电工证还能年审吗良心建议来了,学历不高也能考! 你是不是也担心,自己学历不高,根本报不上高压电工证?其实不然,现在政策已经非常明确, 高压电工证还能年审 ,而且只要符合条件, 学历不是门槛 , 良心建议…

2026/11/22 0:09:40

吴江的电工证免费培训怎么报名?官方报名入口全解析

吴江的电工证免费培训怎么报名?官方报名入口全解析 你急需特种作业证才能上岗找工作,但不知道从哪里下手?别急,现在就给你讲明白【吴江的电工证免费培训】到底怎么操作,以及怎么通过 官方报名入口…

2026/11/22 0:09:40

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱

电工证复审肃州区的真实经历:别被中介坑了,自己搞定更靠谱 不知道去哪报名怕被中介坑?这几乎是每个需要办理或复审电工证的人的真实经历。尤其在肃州区,信息不透明、流程复杂、中介收费高又不靠谱,让很多电工从业者感到头疼。作为一个在应急管理和特种作…

2026/11/22 9:39:14

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

在智慧养宠时代,基于视觉的宠物身份识别技术正逐步从实验室走向家庭应用。然而,与配合度高的人类不同,宠物是典型的“非合作生物识别对象”——它们不会主动配合摄像头调整姿态,更无法控制光照环境。实际应用中,我们常…

2026/11/22 5:39:03

SSM电子书店源码全解析:结构、原理、部署与排错实战

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

还想了解更多?直接咨询顾问

免费诊断 + 免费方案 + 透明报价。

全国咨询热线400-8866-253
免费获取方案
☎咨询二维码 ☎ ↑