DataHub 快速上手Docker Compose 部署指南10 分钟跑通完整元数据平台【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahubDataHub 是数据栈的上下文平台负责把数据表、数据管道、血缘关系和治理信息统一管理起来。用 Docker Compose 部署 DataHub最省事的做法是一条命令拉齐全部依赖再按需换存储、调端口、看监控从本地尝鲜到小规模共享环境都能跑。先看清楚后台到底在跑什么跑命令之前先花一分钟认识一下默认部署quickstartprofile会起哪些容器心里有底后面排错才不慌。所有定义都写在 docker/profiles/ 目录里CLI 会自动拼好一份扁平的 compose 文件下载到你本地容器干什么用默认端口mysql主存储存元数据本体3306opensearch搜索 / 血缘 / 时序数据的索引9200kafka-broker元数据事件的消息队列KRaft 模式9092system-update一次性初始化任务建库表、建索引、建 topic—datahub-gms元数据服务端GraphQL / REST / Kafka 接口8080frontend-quickstartWeb 前端界面9002datahub-actions事件驱动的动作框架推送通知、标签传播等—提示新版 Kafka 用的是 KRaft 模式不再需要单独的 Zookeeper 容器容器数量比老版本明显更少。默认配置下 MAE/MCE 两个消费者是内嵌在 GMS 里跑的不需要额外容器。启动顺序其实是一条依赖链容器不是一起冒出来的而是按依赖链分批就位看懂这条链你就知道启动卡在哪一步存储层并行启动mysql、opensearch、kafka-broker 各自带健康检查谁就绪了算谁。system-update 等三者全部就绪后执行完成数据库建表DATAHUB_SQL_SETUP_ENABLEDtrue和搜索索引构建属于一次性任务跑完就退出——在docker compose ps里看到它显示Exited是正常现象。GMS 与前端等 system-update 退出成功后才启动。datahub-actions 再等 GMS 健康才启动。注意GMS 的健康检查预留了约 90 秒的启动期Java 服务冷启动本来就慢前几分钟别急着下挂了的结论。最快拉起来的方法一条命令 一次登录前置条件只有两样Docker带 Compose v2 Python 3.10 以上CLI 是 Python 包。资源上给 Docker 至少 2 核 CPU、8GB 内存、2GB 交换空间低于这个数 OpenSearch 和 Kafka 容易起不来。如果后面想改源码或定制镜像先拿到仓库git clone https://gitcode.com/GitHub_Trending/da/datahub安装 CLI 并启动python3 -m pip install --upgrade acryl-datahub datahub docker quickstart这条命令会下载 compose 文件存到~/.datahub/quickstart/、拉镜像、按上面的依赖链逐个把容器带起来。第一次拉镜像最耗时之后基本是分钟级。看到DataHub is now running就可以打开浏览器地址http://localhost:9002账号 / 密码datahub/datahub界面是空的很正常灌一套演示数据马上就有内容datahub init --username datahub --password datahub datahub datapack load showcase-ecommerce这套数据包里有约 1000 个实体覆盖 Snowflake、Looker、PowerBI、Tableau带血缘、业务术语和数据产品适合演示和验证功能。三个最容易卡住的坑坑一端口被占。默认部署要占用 3306MySQL、9200搜索、9092Kafka、8080GMS、9002前端等端口。撞上本地已有服务时不用改配置文件启动命令上加参数就行# 前端端口挪到 8088 datahub docker quickstart --frontend-port 8088 # MySQL 端口挪到 53306 datahub docker quickstart --mysql-port 53306 # GMS 端口用环境变量覆盖 DATAHUB_MAPPED_GMS_PORT58080 datahub docker quickstart其余服务同理都是DATAHUB_MAPPED_服务_PORT形式的环境变量datahub docker quickstart --help里能查到全部选项。坑二Apple 芯片报no matching manifest for linux/arm64/v8。这是 CLI 没识别出你在 Apple SiliconM1/M2/M3上运行强制指定架构即可datahub docker quickstart --arch m1坑三容器状态混乱。残留容器、悬空卷互相打架时用docker system prune清理未使用的容器、网络和镜像再重新quickstart。日常巡检两条命令够用datahub docker check # CLI 自带的健康检查 docker logs 容器名 # 看单个容器的日志团队场景按存储口味换 profileCLI 的 quickstart 只是默认档。仓库在 docker/profiles/README.md 里准备了多套组合按团队情况挑Profile存储组合什么时候选它quickstart默认MySQL OpenSearch Kafka本地尝鲜、演示零门槛quickstart-postgresPostgres OpenSearch想用 pgQueue 替代 Kafka少维护一个消息队列quickstart-consumers同默认但 MAE/MCE 独立成容器想单独扩展消费者、独立调它们的日志quickstart-cassandraCassandra Neo4j OpenSearch按分布式存储架构做验证提示quickstart-postgres里DATAHUB_MESSAGING_TRANSPORTpgqueue让 Postgres 直接当消息队列用整套部署里连 Kafka 都没有结构更简单。如果更习惯手动管 compose 文件可以直接用 profiles 目录要求 Compose ≥ 2.20cd docker/profiles docker compose --profile quickstart-postgres up或者在项目根目录跑 Gradle 任务效果等价./gradlew quickstart、./gradlew quickstartDown。数据存在哪、怎么备份所有数据都落在命名卷里mysqldata、osdata、broker、neo4jdata……所以docker compose down再up数据不丢。想彻底推倒重来含数据datahub docker nuke备份与恢复走 CLI不用自己进容器敲 mysqldumpdatahub docker quickstart --backup # 备份 MySQL默认写到 ~/.datahub/quickstart/backup.sql datahub docker quickstart --restore # 恢复主库 重建索引 datahub docker quickstart --restore-indices # 索引坏了只从主库重建索引 datahub docker quickstart --restore --no-restore-indices # 只恢复主库不动索引注意quickstart 的备份不包含时序数据数据集统计、画像等。如果删了索引再恢复这部分数据就找不回来了重要演示前记得留一份。监控、版本与升级怎么管监控每个 Java 服务GMS、actions 等都在容器端口 4319 上暴露 Prometheus 指标管理端口默认映射到主机的 4319。配套 Prometheus 抓取配置在 docker/profiles/monitoring/接上 Prometheus Grafana 就能出面板。版本本地 quickstart 默认用quickstart标签一组经过联合冒烟测试的镜像指定版本用datahub docker quickstart --version v1.6.0或在 compose 里设DATAHUB_VERSION可精确到sha-短哈希的某个提交构建。latest和debug标签仅历史遗留别在生产里用。升级再跑一次datahub docker quickstart就会拉新镜像重启数据保留。注意从旧版 CLIv1.2 之前装的老实例不兼容升级前先--backup备份再datahub docker nuke清掉重装。JVM 参数所有 Java 镜像运行在 Java 25 LTS 上需要调内存比如-Xms2g -Xmx4g时在对应服务的JAVA_OPTS里加改 compose 文件而不是镜像。从本地尝鲜到上生产Quickstart 的定位就是快速体验直接拿它当生产环境会有三个明显短板默认凭据、端口对所有网口开放、单机无法水平扩展。真要上生产清单如下换掉所有默认密码启用 OIDC/JaaS 等真实认证参考 docs/authentication/固定到 release 标签或 commit 标签别再追 quickstart 头版用托管数据库和消息队列替代容器内实例迁移到 Kubernetes 部署docs/deploy/kubernetes.md 有完整走查配套 Helm Chart 可直接用跑通datahub docker quickstart只是起点——它让你在最短时间内看到 DataHub 全貌剩下的就是把存储、认证和扩容按上面的清单逐项补齐。更多命令细节可对照官方入门文档 docs/quickstart.md 和 Docker 部署说明 docker/README.md。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 DataHub 快速上手：Docker Compose 部署指南，10 分钟跑通完整元数据平台
DataHub 快速上手Docker Compose 部署指南10 分钟跑通完整元数据平台【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahubDataHub 是数据栈的上下文平台负责把数据表、数据管道、血缘关系和治理信息统一管理起来。用 Docker Compose 部署 DataHub最省事的做法是一条命令拉齐全部依赖再按需换存储、调端口、看监控从本地尝鲜到小规模共享环境都能跑。先看清楚后台到底在跑什么跑命令之前先花一分钟认识一下默认部署quickstartprofile会起哪些容器心里有底后面排错才不慌。所有定义都写在 docker/profiles/ 目录里CLI 会自动拼好一份扁平的 compose 文件下载到你本地容器干什么用默认端口mysql主存储存元数据本体3306opensearch搜索 / 血缘 / 时序数据的索引9200kafka-broker元数据事件的消息队列KRaft 模式9092system-update一次性初始化任务建库表、建索引、建 topic—datahub-gms元数据服务端GraphQL / REST / Kafka 接口8080frontend-quickstartWeb 前端界面9002datahub-actions事件驱动的动作框架推送通知、标签传播等—提示新版 Kafka 用的是 KRaft 模式不再需要单独的 Zookeeper 容器容器数量比老版本明显更少。默认配置下 MAE/MCE 两个消费者是内嵌在 GMS 里跑的不需要额外容器。启动顺序其实是一条依赖链容器不是一起冒出来的而是按依赖链分批就位看懂这条链你就知道启动卡在哪一步存储层并行启动mysql、opensearch、kafka-broker 各自带健康检查谁就绪了算谁。system-update 等三者全部就绪后执行完成数据库建表DATAHUB_SQL_SETUP_ENABLEDtrue和搜索索引构建属于一次性任务跑完就退出——在docker compose ps里看到它显示Exited是正常现象。GMS 与前端等 system-update 退出成功后才启动。datahub-actions 再等 GMS 健康才启动。注意GMS 的健康检查预留了约 90 秒的启动期Java 服务冷启动本来就慢前几分钟别急着下挂了的结论。最快拉起来的方法一条命令 一次登录前置条件只有两样Docker带 Compose v2 Python 3.10 以上CLI 是 Python 包。资源上给 Docker 至少 2 核 CPU、8GB 内存、2GB 交换空间低于这个数 OpenSearch 和 Kafka 容易起不来。如果后面想改源码或定制镜像先拿到仓库git clone https://gitcode.com/GitHub_Trending/da/datahub安装 CLI 并启动python3 -m pip install --upgrade acryl-datahub datahub docker quickstart这条命令会下载 compose 文件存到~/.datahub/quickstart/、拉镜像、按上面的依赖链逐个把容器带起来。第一次拉镜像最耗时之后基本是分钟级。看到DataHub is now running就可以打开浏览器地址http://localhost:9002账号 / 密码datahub/datahub界面是空的很正常灌一套演示数据马上就有内容datahub init --username datahub --password datahub datahub datapack load showcase-ecommerce这套数据包里有约 1000 个实体覆盖 Snowflake、Looker、PowerBI、Tableau带血缘、业务术语和数据产品适合演示和验证功能。三个最容易卡住的坑坑一端口被占。默认部署要占用 3306MySQL、9200搜索、9092Kafka、8080GMS、9002前端等端口。撞上本地已有服务时不用改配置文件启动命令上加参数就行# 前端端口挪到 8088 datahub docker quickstart --frontend-port 8088 # MySQL 端口挪到 53306 datahub docker quickstart --mysql-port 53306 # GMS 端口用环境变量覆盖 DATAHUB_MAPPED_GMS_PORT58080 datahub docker quickstart其余服务同理都是DATAHUB_MAPPED_服务_PORT形式的环境变量datahub docker quickstart --help里能查到全部选项。坑二Apple 芯片报no matching manifest for linux/arm64/v8。这是 CLI 没识别出你在 Apple SiliconM1/M2/M3上运行强制指定架构即可datahub docker quickstart --arch m1坑三容器状态混乱。残留容器、悬空卷互相打架时用docker system prune清理未使用的容器、网络和镜像再重新quickstart。日常巡检两条命令够用datahub docker check # CLI 自带的健康检查 docker logs 容器名 # 看单个容器的日志团队场景按存储口味换 profileCLI 的 quickstart 只是默认档。仓库在 docker/profiles/README.md 里准备了多套组合按团队情况挑Profile存储组合什么时候选它quickstart默认MySQL OpenSearch Kafka本地尝鲜、演示零门槛quickstart-postgresPostgres OpenSearch想用 pgQueue 替代 Kafka少维护一个消息队列quickstart-consumers同默认但 MAE/MCE 独立成容器想单独扩展消费者、独立调它们的日志quickstart-cassandraCassandra Neo4j OpenSearch按分布式存储架构做验证提示quickstart-postgres里DATAHUB_MESSAGING_TRANSPORTpgqueue让 Postgres 直接当消息队列用整套部署里连 Kafka 都没有结构更简单。如果更习惯手动管 compose 文件可以直接用 profiles 目录要求 Compose ≥ 2.20cd docker/profiles docker compose --profile quickstart-postgres up或者在项目根目录跑 Gradle 任务效果等价./gradlew quickstart、./gradlew quickstartDown。数据存在哪、怎么备份所有数据都落在命名卷里mysqldata、osdata、broker、neo4jdata……所以docker compose down再up数据不丢。想彻底推倒重来含数据datahub docker nuke备份与恢复走 CLI不用自己进容器敲 mysqldumpdatahub docker quickstart --backup # 备份 MySQL默认写到 ~/.datahub/quickstart/backup.sql datahub docker quickstart --restore # 恢复主库 重建索引 datahub docker quickstart --restore-indices # 索引坏了只从主库重建索引 datahub docker quickstart --restore --no-restore-indices # 只恢复主库不动索引注意quickstart 的备份不包含时序数据数据集统计、画像等。如果删了索引再恢复这部分数据就找不回来了重要演示前记得留一份。监控、版本与升级怎么管监控每个 Java 服务GMS、actions 等都在容器端口 4319 上暴露 Prometheus 指标管理端口默认映射到主机的 4319。配套 Prometheus 抓取配置在 docker/profiles/monitoring/接上 Prometheus Grafana 就能出面板。版本本地 quickstart 默认用quickstart标签一组经过联合冒烟测试的镜像指定版本用datahub docker quickstart --version v1.6.0或在 compose 里设DATAHUB_VERSION可精确到sha-短哈希的某个提交构建。latest和debug标签仅历史遗留别在生产里用。升级再跑一次datahub docker quickstart就会拉新镜像重启数据保留。注意从旧版 CLIv1.2 之前装的老实例不兼容升级前先--backup备份再datahub docker nuke清掉重装。JVM 参数所有 Java 镜像运行在 Java 25 LTS 上需要调内存比如-Xms2g -Xmx4g时在对应服务的JAVA_OPTS里加改 compose 文件而不是镜像。从本地尝鲜到上生产Quickstart 的定位就是快速体验直接拿它当生产环境会有三个明显短板默认凭据、端口对所有网口开放、单机无法水平扩展。真要上生产清单如下换掉所有默认密码启用 OIDC/JaaS 等真实认证参考 docs/authentication/固定到 release 标签或 commit 标签别再追 quickstart 头版用托管数据库和消息队列替代容器内实例迁移到 Kubernetes 部署docs/deploy/kubernetes.md 有完整走查配套 Helm Chart 可直接用跑通datahub docker quickstart只是起点——它让你在最短时间内看到 DataHub 全貌剩下的就是把存储、认证和扩容按上面的清单逐项补齐。更多命令细节可对照官方入门文档 docs/quickstart.md 和 Docker 部署说明 docker/README.md。【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考