10 分钟跑通 DataHub Docker Compose 部署两条命令从零到首屏【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahubDataHub 是面向数据与 AI 栈的元数据上下文平台解决数据找得到、看得懂、管得住的问题。本文用 Docker Compose 完成 DataHub 的本地部署装一个 CLI一条命令拉起全部容器再用两条命令灌入示例数据约 10 分钟看到首屏。先选路线三条路按你打算用多久选场景路线一句话理由只想体验尽快看到首屏CLI quickstartdatahub docker quickstart一行命令自动拼装 compose 文件与镜像版本零配置要改端口、内存或换 Postgres/Cassandra改 compose 文件按 profile 启动docker/profiles/ 下每种场景都有现成 profiledocker compose --profile 名字 up长期对外服务、要高可用Kubernetes Helm官方明确 quickstart 仅限本地开发不是生产方案无论走哪条前置条件都一样Docker Engine 加 Compose v2Windows/Mac 装 Docker Desktop 即可机器至少 2 核 8GB 内存——这是官方实测通过的配置CLI 还需要 Python 3.10。最短路径跑通先装 CLI装完验证版本号python3 -m pip install --upgrade acryl-datahub datahub version然后启动 DataHub。这条命令会把 docker-compose.quickstart-profile.yml 下载到~/.datahub/quickstart拉取镜像并按依赖顺序起容器datahub docker quickstart顺利的话输出最后会出现✔ DataHub is now running。验证分两步后端用健康检查接口前端用浏览器curl http://localhost:8080/health返回OK说明 GMS 活着。再打开http://localhost:9002用默认账号datahub/ 密码datahub登录。卡住了大概率是容器还在等健康检查docker ps看一眼各容器的状态datahub-system-update-quickstart-1那一行显示 Exited而非 Restarting就是正常的。首屏是空的属于预期——还没灌数据。加载示例数据包约 1,050 个实体带血缘、词汇表和域datahub init --username datahub --password datahub datahub datapack load showcase-ecommerce它内部在跑什么刚拉起来的这套环境一共 7 个容器MySQL、OpenSearch、Kafka、system-update、GMS、frontend、datahub-actions。不用逐个背跟着一条元数据进来后经过谁走一遍就记住了。摄取任务或 UI、API把一条 MCE元数据变更事件推给 GMSGMS 校验后写入 MySQL——它是主存储所有实体都落在这。同一条变更被 GMS 写入 Kafka topic。quickstart 模式下 MCE/MAE/PE 消费者不是独立容器直接内嵌在 GMS 里compose 文件里对应MCE_CONSUMER_ENABLED: true从 Kafka 拉取后写入 OpenSearch 索引。图查询实现也指向 OpenSearchGRAPH_SERVICE_IMPL: elasticsearch所以整套环境不需要 Neo4j。MAE审计事件同样发布到 Kafkadatahub-actions 容器订阅它触发你配置的动作比如通知、标签传播。查询方向反过来前端 9002 页面的所有请求经 GMS 转发搜索打 OpenSearch。启动顺序里有个隐藏环节system-update。它先等 MySQL、OpenSearch、Kafka 三个存储服务健康然后建 SQL 表结构和搜索索引退出后 GMS 才启动GMS 健康后 frontend 和 actions 才启动。前几分钟看到容器在排队是设计出来的等待不是死锁。按需定制定制的统一入口是 CLI 下载的那份 compose 文件~/.datahub/quickstart/改完文件用datahub docker quickstart --quickstart-compose-file 路径启动。三个高频场景改端口只需改一个默认值需求9002 或 8080 被占用。改哪里compose 文件里 frontend 的published: ${DATAHUB_MAPPED_FRONTEND_PORT:-9002}、GMS 的published: ${DATAHUB_MAPPED_GMS_PORT:-8080}改冒号后面的默认值即可。怎么重启带--quickstart-compose-file重新跑 quickstart。内存不够就调 JVM 堆默认 GMS 是JAVA_OPTS: -Xms1g -Xmx1gOpenSearch 是-Xms768m -Xmx1024m。数据量大导致搜索或索引慢把对应服务的 Xmx 调大。想改数据落盘位置看 compose 文件末尾的 volumesdatahub_mysqldata、datahub_osdata、datahub_broker三个卷按需加 bind 挂载指到本地目录。不想用 MySQL 就切 Postgres profile不动文件直接用仓库里的 profile 跑。克隆仓库地址https://gitcode.com/GitHub_Trending/da/datahub后cd datahub/docker/profiles docker compose --profile quickstart-postgres up该 profile 用 Postgres 加 pgQueue 替代 Kafka需要 Compose 2.20。完整 profile 对照表cassandra、独立消费者等变体见 docker/profiles/README.md。长期运行要点日常操作就这几条都来自 docs/quickstart.mddatahub docker quickstart --stop # 停止保留数据 docker ps | grep datahub # 找容器名 docker logs -f 容器名 # 跟踪日志 datahub docker quickstart # 再跑一遍即升级数据不丢加 --version v1.6.0 可锁定版本 datahub docker quickstart --backup # 备份主库到 ~/.datahub/quickstart/backup.sql两点提醒。第一nuke命令会删掉全部容器和卷等于格式化只在彻底重置时用从旧版本 CLI1.2 之前升级时先--backup再nuke再 quickstart。第二quickstart 备份只含主库不含时序数据用量统计、pro 文件之类有值得留的统计数据就另行备份。踩坑速查GMS 容器反复重启→ 原因宿主机内存不足官方实测配置是 8GB。解决调大 Docker 内存配额后重跑datahub docker quickstart。datahub: command not found→ 原因pip 安装目录不在 PATH。解决命令改成python3 -m datahub ...执行。启动时报address already in use→ 原因9002 或 8080 被占用。解决按改端口一节修改 compose 文件默认值后重启。登录成功但首屏全空、搜索无结果→ 原因还没摄取任何元数据。解决datahub datapack load showcase-ecommerce。升级 CLI 后旧个人令牌PAT全部 401→ 原因签名密钥每次随机生成旧令牌作废。解决重新生成 PAT。本地用顺之后如果开始给团队用、需要外部 MySQL 和独立监控就该停手转向 Kubernetes 路线Helm chart 部署存储外置改掉全部默认凭据步骤见 docs/deploy/kubernetes.md。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
10 分钟跑通 DataHub Docker Compose 部署两条命令从零到首屏【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahubDataHub 是面向数据与 AI 栈的元数据上下文平台解决数据找得到、看得懂、管得住的问题。本文用 Docker Compose 完成 DataHub 的本地部署装一个 CLI一条命令拉起全部容器再用两条命令灌入示例数据约 10 分钟看到首屏。先选路线三条路按你打算用多久选场景路线一句话理由只想体验尽快看到首屏CLI quickstartdatahub docker quickstart一行命令自动拼装 compose 文件与镜像版本零配置要改端口、内存或换 Postgres/Cassandra改 compose 文件按 profile 启动docker/profiles/ 下每种场景都有现成 profiledocker compose --profile 名字 up长期对外服务、要高可用Kubernetes Helm官方明确 quickstart 仅限本地开发不是生产方案无论走哪条前置条件都一样Docker Engine 加 Compose v2Windows/Mac 装 Docker Desktop 即可机器至少 2 核 8GB 内存——这是官方实测通过的配置CLI 还需要 Python 3.10。最短路径跑通先装 CLI装完验证版本号python3 -m pip install --upgrade acryl-datahub datahub version然后启动 DataHub。这条命令会把 docker-compose.quickstart-profile.yml 下载到~/.datahub/quickstart拉取镜像并按依赖顺序起容器datahub docker quickstart顺利的话输出最后会出现✔ DataHub is now running。验证分两步后端用健康检查接口前端用浏览器curl http://localhost:8080/health返回OK说明 GMS 活着。再打开http://localhost:9002用默认账号datahub/ 密码datahub登录。卡住了大概率是容器还在等健康检查docker ps看一眼各容器的状态datahub-system-update-quickstart-1那一行显示 Exited而非 Restarting就是正常的。首屏是空的属于预期——还没灌数据。加载示例数据包约 1,050 个实体带血缘、词汇表和域datahub init --username datahub --password datahub datahub datapack load showcase-ecommerce它内部在跑什么刚拉起来的这套环境一共 7 个容器MySQL、OpenSearch、Kafka、system-update、GMS、frontend、datahub-actions。不用逐个背跟着一条元数据进来后经过谁走一遍就记住了。摄取任务或 UI、API把一条 MCE元数据变更事件推给 GMSGMS 校验后写入 MySQL——它是主存储所有实体都落在这。同一条变更被 GMS 写入 Kafka topic。quickstart 模式下 MCE/MAE/PE 消费者不是独立容器直接内嵌在 GMS 里compose 文件里对应MCE_CONSUMER_ENABLED: true从 Kafka 拉取后写入 OpenSearch 索引。图查询实现也指向 OpenSearchGRAPH_SERVICE_IMPL: elasticsearch所以整套环境不需要 Neo4j。MAE审计事件同样发布到 Kafkadatahub-actions 容器订阅它触发你配置的动作比如通知、标签传播。查询方向反过来前端 9002 页面的所有请求经 GMS 转发搜索打 OpenSearch。启动顺序里有个隐藏环节system-update。它先等 MySQL、OpenSearch、Kafka 三个存储服务健康然后建 SQL 表结构和搜索索引退出后 GMS 才启动GMS 健康后 frontend 和 actions 才启动。前几分钟看到容器在排队是设计出来的等待不是死锁。按需定制定制的统一入口是 CLI 下载的那份 compose 文件~/.datahub/quickstart/改完文件用datahub docker quickstart --quickstart-compose-file 路径启动。三个高频场景改端口只需改一个默认值需求9002 或 8080 被占用。改哪里compose 文件里 frontend 的published: ${DATAHUB_MAPPED_FRONTEND_PORT:-9002}、GMS 的published: ${DATAHUB_MAPPED_GMS_PORT:-8080}改冒号后面的默认值即可。怎么重启带--quickstart-compose-file重新跑 quickstart。内存不够就调 JVM 堆默认 GMS 是JAVA_OPTS: -Xms1g -Xmx1gOpenSearch 是-Xms768m -Xmx1024m。数据量大导致搜索或索引慢把对应服务的 Xmx 调大。想改数据落盘位置看 compose 文件末尾的 volumesdatahub_mysqldata、datahub_osdata、datahub_broker三个卷按需加 bind 挂载指到本地目录。不想用 MySQL 就切 Postgres profile不动文件直接用仓库里的 profile 跑。克隆仓库地址https://gitcode.com/GitHub_Trending/da/datahub后cd datahub/docker/profiles docker compose --profile quickstart-postgres up该 profile 用 Postgres 加 pgQueue 替代 Kafka需要 Compose 2.20。完整 profile 对照表cassandra、独立消费者等变体见 docker/profiles/README.md。长期运行要点日常操作就这几条都来自 docs/quickstart.mddatahub docker quickstart --stop # 停止保留数据 docker ps | grep datahub # 找容器名 docker logs -f 容器名 # 跟踪日志 datahub docker quickstart # 再跑一遍即升级数据不丢加 --version v1.6.0 可锁定版本 datahub docker quickstart --backup # 备份主库到 ~/.datahub/quickstart/backup.sql两点提醒。第一nuke命令会删掉全部容器和卷等于格式化只在彻底重置时用从旧版本 CLI1.2 之前升级时先--backup再nuke再 quickstart。第二quickstart 备份只含主库不含时序数据用量统计、pro 文件之类有值得留的统计数据就另行备份。踩坑速查GMS 容器反复重启→ 原因宿主机内存不足官方实测配置是 8GB。解决调大 Docker 内存配额后重跑datahub docker quickstart。datahub: command not found→ 原因pip 安装目录不在 PATH。解决命令改成python3 -m datahub ...执行。启动时报address already in use→ 原因9002 或 8080 被占用。解决按改端口一节修改 compose 文件默认值后重启。登录成功但首屏全空、搜索无结果→ 原因还没摄取任何元数据。解决datahub datapack load showcase-ecommerce。升级 CLI 后旧个人令牌PAT全部 401→ 原因签名密钥每次随机生成旧令牌作废。解决重新生成 PAT。本地用顺之后如果开始给团队用、需要外部 MySQL 和独立监控就该停手转向 Kubernetes 路线Helm chart 部署存储外置改掉全部默认凭据步骤见 docs/deploy/kubernetes.md。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
