SeaTunnel Elasticsearch 数据入仓实战从批量导入到 CDC 的 4 个同步场景完整指南【免费下载链接】seatunnelSeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.项目地址: https://gitcode.com/GitHub_Trending/se/seatunnel用 SeaTunnel 的 Elasticsearch 连接器只写一份 HOCON 配置就能跑通 MySQL CDC 实时入仓、批量导入、多表动态路由、向量入仓这 4 类数据同步任务全程不写一行自定义代码本地环境 20 分钟左右可验证效果。这个连接器对 ES 2.x 到 8.x 的全版本兼容CDC 变更捕获、批量写入、HTTPS 加密等常用能力开箱即用是项目中使用频率最高的 Sink 插件之一。快速上手第一次导入 ES 的最小配置环境要求JDK 8 及以上SeaTunnel 2.x 发行版可访问的 Elasticsearch 集群2.x ~ 8.x最小配置新建first_es.confsource { Jdbc { url jdbc:mysql://localhost:3306/ecommerce user root password 123456 query SELECT * FROM order_info } } sink { Elasticsearch { hosts [localhost:9200] index order_info schema_save_mode CREATE_SCHEMA_WHEN_NOT_EXIST data_save_mode APPEND_DATA } }提交任务bin/seatunnel.sh --config first_es.conf任务结束后用 curl 或 Kibana 查一下order_info索引能命中数据即说明链路已跑通。hostsES 的 HTTP 地址列表形式可填多个节点index目标索引名支持${字段名}变量写法schema_save_mode目标索引已存在时的处理策略这里表示不存在就创建、已存在就跳过data_save_modeAPPEND_DATA追加写入另有DROP_DATA先清空和ERROR_WHEN_DATA_EXISTS有数据即报错实战场景一存量数据批量导入适用场景把关系库中的大表一次性搬进 ES供搜索或报表消费。最小配置source { Jdbc { url jdbc:mysql://localhost:3306/ecommerce user root password 123456 query SELECT * FROM order_info } } sink { Elasticsearch { hosts [localhost:9200] index order_info_full schema_save_mode RECREATE_SCHEMA data_save_mode DROP_DATA max_batch_size 2000 } }关键参数RECREATE_SCHEMADROP_DATA组合实现索引和数据推倒重建适合周期性全量刷新max_batch_size是 bulk 批量大小默认只有 10大表建议从 1000 起步逐步上调表有唯一键时配上primary_keys任务重跑不会产生重复文档实战场景二CDC 同步最小配置适用场景数据库的增删改要实时反映到 ES典型如订单状态变更后搜索侧立即可查。最小配置env { parallelism 2 job.mode STREAMING checkpoint.interval 5000 } source { MySQL-CDC { server-id 5652-5657 username st_user password st_pwd table-names [shop.orders] url jdbc:mysql://localhost:3306/shop } } sink { Elasticsearch { hosts [localhost:9200] index orders_cdc schema_save_mode IGNORE primary_keys [order_id] max_batch_size 1000 max_retry_count 3 } }关键参数primary_keys是 CDC 必配项用来生成 ES 文档_id我的经验是这一步最容易漏漏了之后失败重试会直接产生重复文档checkpoint.interval单位为毫秒控制检查点频率故障恢复时数据不丢的关键Zeta 引擎下再配sink.flush.interval让没攒够批量阈值的请求也能定时刷出降低端到端延迟实战场景三多表动态路由到不同索引适用场景一个任务同步同一库的多张表每张表自动落到对应索引不用拆成多份配置。最小配置source { MySQL-CDC { server-id 5652-5657 username st_user password st_pwd table-names [shop.orders, shop.products] url jdbc:mysql://localhost:3306/shop } } sink { Elasticsearch { hosts [localhost:9200] index ${table_name} schema_save_mode IGNORE primary_keys [${primary_key}] } }关键参数index中的${table_name}按运行期行数据取表名自动完成表到索引的路由${primary_key}同理取每张表自己的主键保证所有表的_id生成逻辑一致单表写入压力大时可用multi_table_sink_replica调高该表的写入副本数进阶向量字段入仓做语义搜索、推荐这类场景时embedding 向量需要以 dense_vector 形式落到 ES。连接器原生支持要求 ES 7.3 及以上sink { Elasticsearch { hosts [localhost:9200] index product_reviews schema_save_mode IGNORE vectorization_fields [review_embedding] vector_dimensions 1024 } }vectorization_fields声明哪些字段是 embedding 向量上游值为 ByteBuffer 二进制vector_dimensions给出向量维度ES 据此把字段映射为固定维度向量生产环境检查清单批量写入调优与 SSL 安全连接上线前逐项核对下表即可检查项参数 / 操作建议批量大小max_batch_size从 1000 起步逐步提到 2000~5000同时观察 ES 写入拒绝率失败重试max_retry_count默认 3网络波动大的环境调到 5定时刷出env.sink.flush.interval流式作业必配避免小批量长时间滞留仅 Zeta 引擎内存config/jvm_options取消注释-Xmx调整堆大小与批量大小匹配认证username/password或auth_type api_key生产不要用超级管理员账号SSL 开关tls_verify_certificate、tls_verify_hostname生产保持 true证书库tls_truststore_path/tls_truststore_password指向 SeaTunnel 运行用户可读的 CA 信任库自签名证书或主机名不匹配时的临时写法sink { Elasticsearch { hosts [https://es-intranet:9200] username elastic password xxx tls_verify_certificate false } }⚠️tls_verify_certificate false只建议内网测试环境使用公网链路务必保持证书校验。Zeta 引擎的 Web 控制台可以持续查看同步任务的运行状态与 Worker 资源占用常见问题自诊表现象可能原因处理方法连接超时 / 任务起不来hosts 写错、端口不通、防火墙拦截先curl http://host:9200验证连通性HTTPS 集群注意改用 443/9200 对应端口索引自动创建失败ES 账号缺少建索引权限或已有索引模板冲突给账号补indices:create权限或手动建好索引后改用schema_save_mode IGNORECDC 故障重试后文档重复没配primary_keys_id不确定CDC 任务一律显式配置primary_keys靠_id幂等覆盖写入频繁被拒429 / 集群红批量过大或集群写压力不足调小max_batch_size给 ES 扩堆内存或加副本关注 rejected 指标SSL 握手报错信任库缺失或证书未导入用tls_truststore_path指定可读的信任库并核对密码测试环境可临时关校验定位问题写在最后从批量导入到 CDC 实时同步SeaTunnel 的 Elasticsearch 连接器都只需要一份配置文件批量、多表路由、向量入仓都是改参数、跑任务、验结果三步。文中所有参数均在连接器选项类中定义你可以按需自由组合扩展。参考资料官方文档中文docs/zh/connectors/sink/Elasticsearch.md连接器源码目录seatunnel-connectors-v2/connector-elasticsearch/Sink 参数定义ElasticsearchSinkOptions.java、ElasticsearchBaseOptions.javaJVM 参数模板config/jvm_options【免费下载链接】seatunnelSeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.项目地址: https://gitcode.com/GitHub_Trending/se/seatunnel创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
SeaTunnel Elasticsearch 数据入仓实战从批量导入到 CDC 的 4 个同步场景完整指南【免费下载链接】seatunnelSeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.项目地址: https://gitcode.com/GitHub_Trending/se/seatunnel用 SeaTunnel 的 Elasticsearch 连接器只写一份 HOCON 配置就能跑通 MySQL CDC 实时入仓、批量导入、多表动态路由、向量入仓这 4 类数据同步任务全程不写一行自定义代码本地环境 20 分钟左右可验证效果。这个连接器对 ES 2.x 到 8.x 的全版本兼容CDC 变更捕获、批量写入、HTTPS 加密等常用能力开箱即用是项目中使用频率最高的 Sink 插件之一。快速上手第一次导入 ES 的最小配置环境要求JDK 8 及以上SeaTunnel 2.x 发行版可访问的 Elasticsearch 集群2.x ~ 8.x最小配置新建first_es.confsource { Jdbc { url jdbc:mysql://localhost:3306/ecommerce user root password 123456 query SELECT * FROM order_info } } sink { Elasticsearch { hosts [localhost:9200] index order_info schema_save_mode CREATE_SCHEMA_WHEN_NOT_EXIST data_save_mode APPEND_DATA } }提交任务bin/seatunnel.sh --config first_es.conf任务结束后用 curl 或 Kibana 查一下order_info索引能命中数据即说明链路已跑通。hostsES 的 HTTP 地址列表形式可填多个节点index目标索引名支持${字段名}变量写法schema_save_mode目标索引已存在时的处理策略这里表示不存在就创建、已存在就跳过data_save_modeAPPEND_DATA追加写入另有DROP_DATA先清空和ERROR_WHEN_DATA_EXISTS有数据即报错实战场景一存量数据批量导入适用场景把关系库中的大表一次性搬进 ES供搜索或报表消费。最小配置source { Jdbc { url jdbc:mysql://localhost:3306/ecommerce user root password 123456 query SELECT * FROM order_info } } sink { Elasticsearch { hosts [localhost:9200] index order_info_full schema_save_mode RECREATE_SCHEMA data_save_mode DROP_DATA max_batch_size 2000 } }关键参数RECREATE_SCHEMADROP_DATA组合实现索引和数据推倒重建适合周期性全量刷新max_batch_size是 bulk 批量大小默认只有 10大表建议从 1000 起步逐步上调表有唯一键时配上primary_keys任务重跑不会产生重复文档实战场景二CDC 同步最小配置适用场景数据库的增删改要实时反映到 ES典型如订单状态变更后搜索侧立即可查。最小配置env { parallelism 2 job.mode STREAMING checkpoint.interval 5000 } source { MySQL-CDC { server-id 5652-5657 username st_user password st_pwd table-names [shop.orders] url jdbc:mysql://localhost:3306/shop } } sink { Elasticsearch { hosts [localhost:9200] index orders_cdc schema_save_mode IGNORE primary_keys [order_id] max_batch_size 1000 max_retry_count 3 } }关键参数primary_keys是 CDC 必配项用来生成 ES 文档_id我的经验是这一步最容易漏漏了之后失败重试会直接产生重复文档checkpoint.interval单位为毫秒控制检查点频率故障恢复时数据不丢的关键Zeta 引擎下再配sink.flush.interval让没攒够批量阈值的请求也能定时刷出降低端到端延迟实战场景三多表动态路由到不同索引适用场景一个任务同步同一库的多张表每张表自动落到对应索引不用拆成多份配置。最小配置source { MySQL-CDC { server-id 5652-5657 username st_user password st_pwd table-names [shop.orders, shop.products] url jdbc:mysql://localhost:3306/shop } } sink { Elasticsearch { hosts [localhost:9200] index ${table_name} schema_save_mode IGNORE primary_keys [${primary_key}] } }关键参数index中的${table_name}按运行期行数据取表名自动完成表到索引的路由${primary_key}同理取每张表自己的主键保证所有表的_id生成逻辑一致单表写入压力大时可用multi_table_sink_replica调高该表的写入副本数进阶向量字段入仓做语义搜索、推荐这类场景时embedding 向量需要以 dense_vector 形式落到 ES。连接器原生支持要求 ES 7.3 及以上sink { Elasticsearch { hosts [localhost:9200] index product_reviews schema_save_mode IGNORE vectorization_fields [review_embedding] vector_dimensions 1024 } }vectorization_fields声明哪些字段是 embedding 向量上游值为 ByteBuffer 二进制vector_dimensions给出向量维度ES 据此把字段映射为固定维度向量生产环境检查清单批量写入调优与 SSL 安全连接上线前逐项核对下表即可检查项参数 / 操作建议批量大小max_batch_size从 1000 起步逐步提到 2000~5000同时观察 ES 写入拒绝率失败重试max_retry_count默认 3网络波动大的环境调到 5定时刷出env.sink.flush.interval流式作业必配避免小批量长时间滞留仅 Zeta 引擎内存config/jvm_options取消注释-Xmx调整堆大小与批量大小匹配认证username/password或auth_type api_key生产不要用超级管理员账号SSL 开关tls_verify_certificate、tls_verify_hostname生产保持 true证书库tls_truststore_path/tls_truststore_password指向 SeaTunnel 运行用户可读的 CA 信任库自签名证书或主机名不匹配时的临时写法sink { Elasticsearch { hosts [https://es-intranet:9200] username elastic password xxx tls_verify_certificate false } }⚠️tls_verify_certificate false只建议内网测试环境使用公网链路务必保持证书校验。Zeta 引擎的 Web 控制台可以持续查看同步任务的运行状态与 Worker 资源占用常见问题自诊表现象可能原因处理方法连接超时 / 任务起不来hosts 写错、端口不通、防火墙拦截先curl http://host:9200验证连通性HTTPS 集群注意改用 443/9200 对应端口索引自动创建失败ES 账号缺少建索引权限或已有索引模板冲突给账号补indices:create权限或手动建好索引后改用schema_save_mode IGNORECDC 故障重试后文档重复没配primary_keys_id不确定CDC 任务一律显式配置primary_keys靠_id幂等覆盖写入频繁被拒429 / 集群红批量过大或集群写压力不足调小max_batch_size给 ES 扩堆内存或加副本关注 rejected 指标SSL 握手报错信任库缺失或证书未导入用tls_truststore_path指定可读的信任库并核对密码测试环境可临时关校验定位问题写在最后从批量导入到 CDC 实时同步SeaTunnel 的 Elasticsearch 连接器都只需要一份配置文件批量、多表路由、向量入仓都是改参数、跑任务、验结果三步。文中所有参数均在连接器选项类中定义你可以按需自由组合扩展。参考资料官方文档中文docs/zh/connectors/sink/Elasticsearch.md连接器源码目录seatunnel-connectors-v2/connector-elasticsearch/Sink 参数定义ElasticsearchSinkOptions.java、ElasticsearchBaseOptions.javaJVM 参数模板config/jvm_options【免费下载链接】seatunnelSeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.项目地址: https://gitcode.com/GitHub_Trending/se/seatunnel创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
