DataHub 接入 IBM Db2 元数据完整配置指南与源码级原理剖析【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahubDataHub 通过db2模块将 IBM Db2 中的表、视图、Schema 字段、容器、表级与列级血缘、数据画像及有状态删除检测等核心元数据摄取到 DataHub 中覆盖 Db2 for LUW、z/OS 与 IBM iAS/400三大平台。本文基于 metadata-ingestion/docs/sources/db2 目录下的官方文档结合 db2.py 源码与 集成测试 展开帮助你在生产环境完成 Db2 元数据接入的安装、配置、调优与排障。概览Db2 集成能摄取哪些元数据Db2 是用于存储和查询分析型或操作型数据的数据平台。DataHub 对 Db2 的集成覆盖以下核心元数据实体数据集/表/视图Dataset作为主要摄取的技术资产Schema 字段/列SchemaField随 Schema 提取一并摄入容器Container组织平台上下文内的资产血缘Lineage支持表级与列级血缘提取数据画像Data Profiling可选启用有状态删除检测Stateful Deletion Detection默认启用。概念映射官方文档给出了 DataHub 通用的概念映射关系适用于 Db2 集成README.md源概念DataHub 概念说明平台/账号/项目作用域Platform Instance, Container在平台上下文内组织资产核心技术资产如表/视图/主题/文件Dataset主要摄取的技术资产Schema 字段/列SchemaField支持 Schema 提取时包含所有权与协作主体CorpUser, CorpGroup由支持所有权与身份元数据的模块发出依赖与处理关系Lineage edges支持并启用血缘提取时可用快速开始安装与最小配置安装Db2 源通过acryl-datahub的db2extra 安装默认 CLI 驱动ibm_db_sa已包含在该包内pip install acryl-datahub[db2]从 pyproject.toml 可以看到该 extra 的完整依赖集合ibm_db_sa0.4.3仅当platform_machine x86_64或platform_system Darwin时安装这与源码中Linux ARM 不支持的架构判断一致pyodbc6.0.0用于db2pyodbc/db2pyodbc400连接方案sqlalchemy1.4.39,2、sqlglot[c]30.12.0、sqlparse0.6.0,1.0.0用于 SQL 解析与血缘。最小 Recipe官方示例 recipe 位于 db2_recipe.ymlsource: type: db2 config: # 连接坐标 host_port: localhost:50000 database: dbname # 凭据 username: db2inst1 password: password # 可选 TLS # uri_args: # Security: SSL # 使用 IBM i Access ODBC Driver 连接 Db2 for IBM i (AS/400) # scheme: db2pyodbc400运行摄取保存上述内容为db2_recipe.yml后执行datahub ingest -c db2_recipe.yml集成测试中test_db2.py使用的连接串为db2ibm_db://db2inst1:passwordlocalhost:50000/testdb对应的 source 配置即host_port: localhost:50000、database: testdb、username: db2inst1、password: password可作为最小可运行配置的验证参考。配置参数详解必填项参数默认值说明host_portlocalhost:50000Db2 主机地址与端口database无必填要摄取的 Db2 数据库名username/password无认证凭据默认通过 Db2 用户名密码在非加密连接上认证常用可选参数参数默认值说明schemedb2ibm_db_sa连接方案支持db2、db2pyodbc、db2pyodbc400uri_args{}追加到连接 URL 的参数例如Security: SSL启用 TLS/SSL也可用于配置其他认证方式include_stored_procedurestrue是否摄取存储过程procedure_pattern允许全部存储过程过滤正则匹配schema.procedure_name格式的完整过程名schema_pattern/table_pattern/view_pattern允许全部基于正则的表/视图/Schema 过滤表名匹配格式为database.schema.tabledomain无按正则将数据库/Schema/表归属到指定 Domaininclude_views/include_tables默认开启控制是否摄取视图/表profiling关闭数据画像配置需显式启用stateful_ingestion可选有状态摄取配置删除检测默认启用以上参数定义见 db2.py 中的Db2Config其继承自BasicSQLAlchemyConfig定义于 sql_config.py。需要注意uri_args在Db2Config.get_sql_alchemy_url中被合并进 SQLAlchemy URL{**self.uri_args, **(uri_opts or {})}因此uri_args中的键值会作为连接参数直接影响底层驱动的行为——这也是文档推荐通过它配置 TLS/SSL 或其他认证方式的实现基础。平台兼容性与架构支持支持的 Db2 平台依据 db2_post.md该源已在以下平台测试Db2 for LUW使用默认 CLI 驱动包含在acryl-datahub[db2]包中Db2 for z/OS使用默认 CLI 驱动部分场景可能需要 Db2 ConnectDb2 for IBM i (AS/400)使用IBM i Access ODBC Driver未随包提供需用户自行安装。此外对以下场景提供名义支持nominal support使用 CLI 驱动连接 Db2 for IBM i需要 Db2 Connect。架构支持架构支持情况Windows x86_64支持Linux x86_64支持macOS x86_64支持macOS ARM支持Linux ARM不支持执行会报错架构限制在源码中有硬性校验db2.py 的__init__中当platform.machine()不属于amd64/x86_64且系统不是 macOSDarwin时直接抛出NotImplementedError。依赖安装端同样做了约束见上文 pyproject 中ibm_db_sa的平台标记这正是文档所述Linux ARM 上执行会报错的根因。使用 IBM i Access ODBC Driver默认 CLI 驱动连接 IBM i 需要 Db2 Connect如需绕过它直接连接可按以下步骤操作安装 IBM i Access ODBC Driver 以及 ODBC 驱动管理器如unixodbc在摄取配置中将 scheme 指定为db2pyodbc400source: type: db2 config: host_port: host:port database: dbname username: user password: password scheme: db2pyodbc400如果使用 DataHub Cloud 的 Remote Executor可以构建包含 ODBC 驱动的自定义镜像官方给出了如下 Dockerfile 参考FROM ${remote_executor_image} # Ask your DataHub account rep for the parent image name to use USER root RUN wget -P /etc/apt/sources.list.d/ https://public.dhe.ibm.com/software/ibmi/products/odbc/debs/dists/1.1.0/ibmi-acs-1.1.0.list RUN apt-get update RUN apt-get install -y ibm-iaccess RUN apt-get clean RUN rm -rf /var/lib/apt/lists/* USER datahub前置条件权限、认证与 TLS依据 db2_pre.md运行摄取前需确保到源端的网络连通性、有效的认证凭据以及读取元数据 API 所需的权限。所需权限摄取用户需要具备系统 Schema 与系统表的SELECT权限不同平台对应不同的系统 Schema平台需要的系统 SchemaDb2 for LUWSYSCAT.*Db2 for z/OSSYSIBM.*Db2 for IBM i (AS/400)QSYS2.*另外启用 profiling 时用户还需要对所画像的表具备SELECT权限。认证与 TLS/SSL默认认证方式为 Db2 用户名/密码走非加密连接。其他认证方式以及 TLS/SSL 可通过uri_args配置例如uri_args: Security: SSL从源码看uri_args会被合并进 SQLAlchemy 连接 URLdb2.py因此它实际承载了驱动层连接参数Security: SSL即通过驱动启用 SSL 加密。源码级实现原理类结构与能力注解Db2Source继承自通用 SQL 源SQLAlchemySourcesql_common.py通过装饰器声明了平台名与能力矩阵db2.pyplatform_name(IBM Db2, iddb2)平台标识support_status(SupportStatus.ALPHA)当前支持状态为 Alphacapability(SourceCapability.PLATFORM_INSTANCE, Enabled by default)平台实例默认启用capability(SourceCapability.DOMAINS, Supported via thedomainconfig field)Domain 支持capability(SourceCapability.DATA_PROFILING, Optionally enabled via configuration)数据画像可选启用capability(SourceCapability.DELETION_DETECTION, Enabled by default via stateful ingestion)删除检测通过有状态摄取默认启用。SQLAlchemy 方言修补由于ibm_db_sa驱动的已知问题issue #173、issue #153源码在patch_dialect中对其方言实例做了两处修补db2.pydialect.requires_name_normalize False修复结果列名大小写不一致的问题将_reflector.normalize_name与denormalize_name替换为恒等函数ibm_db_sa会无条件将名称小写化导致无法区分大小写敏感的表名修补后大小写敏感的表名得以保留并进一步获取元数据。该修补是针对方言实例进行的而非新建自定义方言类原因是ibm_db_sa基于 scheme 存在多个方言类DB2Dialect_ibm_db、DB2Dialect_pyodbc、AS400Dialect、AS400Dialect_pyodbc等实例级修补可确保无论使用哪个方言类都生效。修补通过get_inspectors()的 yield 过程中对每个 inspector 的 dialect 执行。名称规范化与标识符数据库名大小写不敏感get_db_name统一转为大写.upper()与其余元数据保持一致资产标识符格式为database.schema.objectdb2.py源码还注册了一个自定义 SQLGlot 方言CustomDb2SqlGlotDialect规范化策略为 UPPERCASE用于 SQL 解析与血缘提取若 SQLGlot 未来内置 Db2 方言则自动使用内置实现。视图与存储过程的 Schema 限定符解析Db2 视图LUW 与 z/OS在创建时会按会话 Schema而非视图自身所在 Schema解析非限定名。_db2_get_view_qualifier针对不同平台查询不同的系统目录db2.pyDb2 LUW查询SYSCAT.VIEWS的QUALIFIER字段Db2 z/OS查询SYSIBM.SYSVIEWS的PATHSCHEMAS字段并过滤掉SYSFUN、SYSIBM、SYSIBMADM、SYSPROC等系统 Schema若剩余 Schema 仍多于一个则抛出NotImplementedError_split_zos_pathschemas负责解析带引号转义的 PATHSCHEMAS 字符串Db2 i/AS400无此概念返回None。存储过程摄取同样按平台分派查询SYSCAT.ROUTINESLUW、SYSIBM.SYSROUTINESz/OS、QSYS2.SYSROUTINESIBM i并提取名称、语言、定义文本、注释、创建/修改时间等产出BaseProcedure元数据db2.py。这也解释了前置条件中为何需要各平台对应系统 Schema 的SELECT权限。测试验证该源配有完整的集成测试与单元测试可用于理解预期行为集成测试通过 Docker 拉起 Db2 容器端口 50000db2ibm_db://db2inst1:passwordlocalhost:50000/testdb按 SQL 脚本建表后运行摄取 Pipeline并将输出 MCE 与 golden 文件比对。覆盖 5 个场景db2_basic、db2_case_sensitivity、db2_comments、db2_procedures、db2_view_qualifier。测试在非 x86_64/macOS 平台跳过与ibm_db 在 Linux ARM 不可用的限制一致单元测试验证_db2_get_view_qualifier对 PATHSCHEMAS 的解析含系统 Schema 过滤、多 Schema 抛错、双引号转义以及_quote_identifier的标识符引号处理。限制与故障排查依据 db2_post.md模块行为受源端 API、权限及平台暴露的元数据约束不支持的或需要条件的功能请以能力说明为准集成处于 Alpha 支持状态生产使用前建议充分验证Linux ARM 上无法运行该源。故障排查顺序建议首先校验凭据、权限、连通性与作用域过滤例如确认用户对各平台系统 Schema 有SELECT权限、host_port/database可达、schema_pattern/table_pattern是否正确然后查看摄取日志中的源特定错误据此调整配置。例如若出现系统目录查询失败可对照上文源码确认当前连接平台对应的系统视图SYSCAT.*/SYSIBM.*/QSYS2.*是否可访问若在 Linux ARM 上执行则直接收到NotImplementedError需更换到受支持的架构。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
DataHub 接入 IBM Db2 元数据完整配置指南与源码级原理剖析【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahubDataHub 通过db2模块将 IBM Db2 中的表、视图、Schema 字段、容器、表级与列级血缘、数据画像及有状态删除检测等核心元数据摄取到 DataHub 中覆盖 Db2 for LUW、z/OS 与 IBM iAS/400三大平台。本文基于 metadata-ingestion/docs/sources/db2 目录下的官方文档结合 db2.py 源码与 集成测试 展开帮助你在生产环境完成 Db2 元数据接入的安装、配置、调优与排障。概览Db2 集成能摄取哪些元数据Db2 是用于存储和查询分析型或操作型数据的数据平台。DataHub 对 Db2 的集成覆盖以下核心元数据实体数据集/表/视图Dataset作为主要摄取的技术资产Schema 字段/列SchemaField随 Schema 提取一并摄入容器Container组织平台上下文内的资产血缘Lineage支持表级与列级血缘提取数据画像Data Profiling可选启用有状态删除检测Stateful Deletion Detection默认启用。概念映射官方文档给出了 DataHub 通用的概念映射关系适用于 Db2 集成README.md源概念DataHub 概念说明平台/账号/项目作用域Platform Instance, Container在平台上下文内组织资产核心技术资产如表/视图/主题/文件Dataset主要摄取的技术资产Schema 字段/列SchemaField支持 Schema 提取时包含所有权与协作主体CorpUser, CorpGroup由支持所有权与身份元数据的模块发出依赖与处理关系Lineage edges支持并启用血缘提取时可用快速开始安装与最小配置安装Db2 源通过acryl-datahub的db2extra 安装默认 CLI 驱动ibm_db_sa已包含在该包内pip install acryl-datahub[db2]从 pyproject.toml 可以看到该 extra 的完整依赖集合ibm_db_sa0.4.3仅当platform_machine x86_64或platform_system Darwin时安装这与源码中Linux ARM 不支持的架构判断一致pyodbc6.0.0用于db2pyodbc/db2pyodbc400连接方案sqlalchemy1.4.39,2、sqlglot[c]30.12.0、sqlparse0.6.0,1.0.0用于 SQL 解析与血缘。最小 Recipe官方示例 recipe 位于 db2_recipe.ymlsource: type: db2 config: # 连接坐标 host_port: localhost:50000 database: dbname # 凭据 username: db2inst1 password: password # 可选 TLS # uri_args: # Security: SSL # 使用 IBM i Access ODBC Driver 连接 Db2 for IBM i (AS/400) # scheme: db2pyodbc400运行摄取保存上述内容为db2_recipe.yml后执行datahub ingest -c db2_recipe.yml集成测试中test_db2.py使用的连接串为db2ibm_db://db2inst1:passwordlocalhost:50000/testdb对应的 source 配置即host_port: localhost:50000、database: testdb、username: db2inst1、password: password可作为最小可运行配置的验证参考。配置参数详解必填项参数默认值说明host_portlocalhost:50000Db2 主机地址与端口database无必填要摄取的 Db2 数据库名username/password无认证凭据默认通过 Db2 用户名密码在非加密连接上认证常用可选参数参数默认值说明schemedb2ibm_db_sa连接方案支持db2、db2pyodbc、db2pyodbc400uri_args{}追加到连接 URL 的参数例如Security: SSL启用 TLS/SSL也可用于配置其他认证方式include_stored_procedurestrue是否摄取存储过程procedure_pattern允许全部存储过程过滤正则匹配schema.procedure_name格式的完整过程名schema_pattern/table_pattern/view_pattern允许全部基于正则的表/视图/Schema 过滤表名匹配格式为database.schema.tabledomain无按正则将数据库/Schema/表归属到指定 Domaininclude_views/include_tables默认开启控制是否摄取视图/表profiling关闭数据画像配置需显式启用stateful_ingestion可选有状态摄取配置删除检测默认启用以上参数定义见 db2.py 中的Db2Config其继承自BasicSQLAlchemyConfig定义于 sql_config.py。需要注意uri_args在Db2Config.get_sql_alchemy_url中被合并进 SQLAlchemy URL{**self.uri_args, **(uri_opts or {})}因此uri_args中的键值会作为连接参数直接影响底层驱动的行为——这也是文档推荐通过它配置 TLS/SSL 或其他认证方式的实现基础。平台兼容性与架构支持支持的 Db2 平台依据 db2_post.md该源已在以下平台测试Db2 for LUW使用默认 CLI 驱动包含在acryl-datahub[db2]包中Db2 for z/OS使用默认 CLI 驱动部分场景可能需要 Db2 ConnectDb2 for IBM i (AS/400)使用IBM i Access ODBC Driver未随包提供需用户自行安装。此外对以下场景提供名义支持nominal support使用 CLI 驱动连接 Db2 for IBM i需要 Db2 Connect。架构支持架构支持情况Windows x86_64支持Linux x86_64支持macOS x86_64支持macOS ARM支持Linux ARM不支持执行会报错架构限制在源码中有硬性校验db2.py 的__init__中当platform.machine()不属于amd64/x86_64且系统不是 macOSDarwin时直接抛出NotImplementedError。依赖安装端同样做了约束见上文 pyproject 中ibm_db_sa的平台标记这正是文档所述Linux ARM 上执行会报错的根因。使用 IBM i Access ODBC Driver默认 CLI 驱动连接 IBM i 需要 Db2 Connect如需绕过它直接连接可按以下步骤操作安装 IBM i Access ODBC Driver 以及 ODBC 驱动管理器如unixodbc在摄取配置中将 scheme 指定为db2pyodbc400source: type: db2 config: host_port: host:port database: dbname username: user password: password scheme: db2pyodbc400如果使用 DataHub Cloud 的 Remote Executor可以构建包含 ODBC 驱动的自定义镜像官方给出了如下 Dockerfile 参考FROM ${remote_executor_image} # Ask your DataHub account rep for the parent image name to use USER root RUN wget -P /etc/apt/sources.list.d/ https://public.dhe.ibm.com/software/ibmi/products/odbc/debs/dists/1.1.0/ibmi-acs-1.1.0.list RUN apt-get update RUN apt-get install -y ibm-iaccess RUN apt-get clean RUN rm -rf /var/lib/apt/lists/* USER datahub前置条件权限、认证与 TLS依据 db2_pre.md运行摄取前需确保到源端的网络连通性、有效的认证凭据以及读取元数据 API 所需的权限。所需权限摄取用户需要具备系统 Schema 与系统表的SELECT权限不同平台对应不同的系统 Schema平台需要的系统 SchemaDb2 for LUWSYSCAT.*Db2 for z/OSSYSIBM.*Db2 for IBM i (AS/400)QSYS2.*另外启用 profiling 时用户还需要对所画像的表具备SELECT权限。认证与 TLS/SSL默认认证方式为 Db2 用户名/密码走非加密连接。其他认证方式以及 TLS/SSL 可通过uri_args配置例如uri_args: Security: SSL从源码看uri_args会被合并进 SQLAlchemy 连接 URLdb2.py因此它实际承载了驱动层连接参数Security: SSL即通过驱动启用 SSL 加密。源码级实现原理类结构与能力注解Db2Source继承自通用 SQL 源SQLAlchemySourcesql_common.py通过装饰器声明了平台名与能力矩阵db2.pyplatform_name(IBM Db2, iddb2)平台标识support_status(SupportStatus.ALPHA)当前支持状态为 Alphacapability(SourceCapability.PLATFORM_INSTANCE, Enabled by default)平台实例默认启用capability(SourceCapability.DOMAINS, Supported via thedomainconfig field)Domain 支持capability(SourceCapability.DATA_PROFILING, Optionally enabled via configuration)数据画像可选启用capability(SourceCapability.DELETION_DETECTION, Enabled by default via stateful ingestion)删除检测通过有状态摄取默认启用。SQLAlchemy 方言修补由于ibm_db_sa驱动的已知问题issue #173、issue #153源码在patch_dialect中对其方言实例做了两处修补db2.pydialect.requires_name_normalize False修复结果列名大小写不一致的问题将_reflector.normalize_name与denormalize_name替换为恒等函数ibm_db_sa会无条件将名称小写化导致无法区分大小写敏感的表名修补后大小写敏感的表名得以保留并进一步获取元数据。该修补是针对方言实例进行的而非新建自定义方言类原因是ibm_db_sa基于 scheme 存在多个方言类DB2Dialect_ibm_db、DB2Dialect_pyodbc、AS400Dialect、AS400Dialect_pyodbc等实例级修补可确保无论使用哪个方言类都生效。修补通过get_inspectors()的 yield 过程中对每个 inspector 的 dialect 执行。名称规范化与标识符数据库名大小写不敏感get_db_name统一转为大写.upper()与其余元数据保持一致资产标识符格式为database.schema.objectdb2.py源码还注册了一个自定义 SQLGlot 方言CustomDb2SqlGlotDialect规范化策略为 UPPERCASE用于 SQL 解析与血缘提取若 SQLGlot 未来内置 Db2 方言则自动使用内置实现。视图与存储过程的 Schema 限定符解析Db2 视图LUW 与 z/OS在创建时会按会话 Schema而非视图自身所在 Schema解析非限定名。_db2_get_view_qualifier针对不同平台查询不同的系统目录db2.pyDb2 LUW查询SYSCAT.VIEWS的QUALIFIER字段Db2 z/OS查询SYSIBM.SYSVIEWS的PATHSCHEMAS字段并过滤掉SYSFUN、SYSIBM、SYSIBMADM、SYSPROC等系统 Schema若剩余 Schema 仍多于一个则抛出NotImplementedError_split_zos_pathschemas负责解析带引号转义的 PATHSCHEMAS 字符串Db2 i/AS400无此概念返回None。存储过程摄取同样按平台分派查询SYSCAT.ROUTINESLUW、SYSIBM.SYSROUTINESz/OS、QSYS2.SYSROUTINESIBM i并提取名称、语言、定义文本、注释、创建/修改时间等产出BaseProcedure元数据db2.py。这也解释了前置条件中为何需要各平台对应系统 Schema 的SELECT权限。测试验证该源配有完整的集成测试与单元测试可用于理解预期行为集成测试通过 Docker 拉起 Db2 容器端口 50000db2ibm_db://db2inst1:passwordlocalhost:50000/testdb按 SQL 脚本建表后运行摄取 Pipeline并将输出 MCE 与 golden 文件比对。覆盖 5 个场景db2_basic、db2_case_sensitivity、db2_comments、db2_procedures、db2_view_qualifier。测试在非 x86_64/macOS 平台跳过与ibm_db 在 Linux ARM 不可用的限制一致单元测试验证_db2_get_view_qualifier对 PATHSCHEMAS 的解析含系统 Schema 过滤、多 Schema 抛错、双引号转义以及_quote_identifier的标识符引号处理。限制与故障排查依据 db2_post.md模块行为受源端 API、权限及平台暴露的元数据约束不支持的或需要条件的功能请以能力说明为准集成处于 Alpha 支持状态生产使用前建议充分验证Linux ARM 上无法运行该源。故障排查顺序建议首先校验凭据、权限、连通性与作用域过滤例如确认用户对各平台系统 Schema 有SELECT权限、host_port/database可达、schema_pattern/table_pattern是否正确然后查看摄取日志中的源特定错误据此调整配置。例如若出现系统目录查询失败可对照上文源码确认当前连接平台对应的系统视图SYSCAT.*/SYSIBM.*/QSYS2.*是否可访问若在 Linux ARM 上执行则直接收到NotImplementedError需更换到受支持的架构。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
