近一周的热点新闻_shopnc商城系统_网站排名软件_成品视频直播软件推荐哪个好一点

---

前言

在当今快速发展的大数据时代，数据处理和分析的需求日益增长。为了满足这些需求，各种各样的工具和技术应运而生，其中分布式任务调度系统扮演着至关重要的角色。Apache DolphinScheduler 是一款开源的分布式易扩展的工作流任务调度系统，它以可视化的方式管理和调度复杂的任务依赖关系，适用于多种业务场景下的定时任务编排。

随着DolphinScheduler社区的不断壮大和发展，版本迭代也愈加频繁，功能愈发强大。本文档旨在为读者提供一份详细的DolphinScheduler 3.1.5版本安装与配置指南，帮助用户顺利地部署并使用这一强大的调度工具。

---

一、安装准备

1. 安装版本

• DolphinScheduler 3.1.5

2. 安装条件

• jdk版本：1.8+
• MySQL版本：5.7+
• MySQL驱动版本：8.0.16+
• zookeeper版本：3.4.6+
• 进程树分析：psmisc

3. 安装psmisc

执行如下命令安装psmisc。

yum -y install psmisc

安装完成如下图所示。

---

二、DolphinScheduler部署

1. 下载DolphinScheduler

执行如下命令下载DolphinScheduler的安装包apache-dolphinscheduler-3.1.5-bin.tar.gz到/export/software目录。

wget https://repo.huaweicloud.com/artifactory/apache-local/dolphinscheduler/3.1.5/apache-dolphinscheduler-3.1.5-bin.tar.gz -P /export/software

2. 解压DolphinScheduler安装包

2.1 解压

将DolphinScheduler安装包通过解压方式安装至/export/servers目录。

tar -zxvf /export/software/apache-dolphinscheduler-3.1.5-bin.tar.gz -C /export/servers

解压完成如下图所示。

2.2 重命名

执行如下命令将apache-dolphinscheduler-3.1.5-bin重命名为dolphinscheduler-3.1.5。

mv /export/servers/apache-dolphinscheduler-3.1.5-bin /export/servers/dolphinscheduler-3.1.5

3. 配置DolphinScheduler

3.1 配置DolphinScheduler环境变量

执行如下命令设置DolphinScheduler环境变量，加载系统环境变量配置文件，并查看环境变量是否配置成功。

echo >> /etc/profile
echo 'export DS_HOME=/export/servers/dolphinscheduler-3.1.5' >> /etc/profile
source /etc/profile
echo $DS_HOME

3.2 修改 install_env.sh 配置文件

使用cat命令把安装时环境变量配置内容重定向并写入到/export/servers/dolphinscheduler-3.1.5/bin/env/install_env.sh文件。

cat >/export/servers/dolphinscheduler-3.1.5/bin/env/install_env.sh <<EOF
# 需要安装DolphinScheduler相关组件的主机
ips=\${ips:-"$(hostname)"}
# SSH协议端口号，默认为22。
sshPort=\${sshPort:-"22"}
# 需要安装master节点的主机
masters=\${masters:-"$(hostname)"}
# 需要安装worker节点的主机
workers=\${workers:-"$(hostname):default"}
# 需要安装警报服务的主机
alertServer=\${alertServer:-"$(hostname)"}
# 需要安装api服务的主机
apiServers=\${apiServers:-"$(hostname)"}
# 安装dolphinscheduler的目录。如果不存在，将由install.sh脚本创建。
installPath=\${installPath:-"/export/servers/dolphinscheduler"}
# 部署dolphinscheduler的用户
deployUser=\${deployUser:-"root"}
# zookeeper的根目录，目前DolphinScheduler默认的注册服务器是zookeeper。
zkRoot=\${zkRoot:-"/dolphinscheduler"}
EOF

3.3 修改 dolphinscheduler_env.sh 文件

使用cat命令把dolphinscheduler运行时环境变量配置内容重定向并写入到/export/servers/dolphinscheduler-3.1.5/bin/env/dolphinscheduler_env.sh文件。

cat >/export/servers/dolphinscheduler-3.1.5/bin/env/dolphinscheduler_env.sh <<EOF
# JAVA_HOME, will use it to start DolphinScheduler server
export JAVA_HOME=\${JAVA_HOME:-$JAVA_HOME}
# Database related configuration, set database type, username and password
export DATABASE=\${DATABASE:-mysql}
export SPRING_PROFILES_ACTIVE=\${DATABASE}
export SPRING_DATASOURCE_URL="jdbc:mysql://hadoop:3306/dolphinscheduler?createDatabaseIfNotExist=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false"
export SPRING_DATASOURCE_USERNAME="root"
export SPRING_DATASOURCE_PASSWORD="123456"
# DolphinScheduler server related configuration
export SPRING_CACHE_TYPE=\${SPRING_CACHE_TYPE:-none}
export SPRING_JACKSON_TIME_ZONE=\${SPRING_JACKSON_TIME_ZONE:-UTC}
export MASTER_FETCH_COMMAND_NUM=\${MASTER_FETCH_COMMAND_NUM:-10}
# Registry center configuration, determines the type and link of the registry center
export REGISTRY_TYPE=\${REGISTRY_TYPE:-zookeeper}
export REGISTRY_ZOOKEEPER_CONNECT_STRING=\${REGISTRY_ZOOKEEPER_CONNECT_STRING:-hadoop:2181}
# Tasks related configurations, need to change the configuration if you use the related tasks.
export HADOOP_HOME=\${HADOOP_HOME:-$HADOOP_HOME}
export HADOOP_CONF_DIR=\${HADOOP_CONF_DIR:-$HADOOP_HOME/etc/hadoop}
export SPARK_HOME1=\${SPARK_HOME1:-$SPARK_HOME1}
export SPARK_HOME2=\${SPARK_HOME2:-$SPARK_HOME2}
export PYTHON_HOME=\${PYTHON_HOME:-$PYTHON_HOME}
export HIVE_HOME=\${HIVE_HOME:-$HIVE_HOME}
export FLINK_HOME=\${FLINK_HOME:-$FLINK_HOME}
export DATAX_HOME=\${DATAX_HOME:-$DATAX_HOME}
export SEATUNNEL_HOME=\${SEATUNNEL_HOME:-$SEATUNNEL_HOME}
export CHUNJUN_HOME=\${CHUNJUN_HOME:-$CHUNJUN_HOME}
export PATH=\$HADOOP_HOME/bin:\$SPARK_HOME1/bin:\$SPARK_HOME2/bin:\$PYTHON_HOME/bin:\$JAVA_HOME/bin:\$HIVE_HOME/bin:\$FLINK_HOME/bin:\$DATAX_HOME/bin:\$SEATUNNEL_HOME/bin:\$CHUNJUN_HOME/bin:\$PATH
EOF

3.4 配置MySQL驱动包

执行如下命令下载MySQL驱动包到/export/software目录下，并配置MySQL驱动包。

wget https://maven.aliyun.com/repository/public/mysql/mysql-connector-java/8.0.16/mysql-connector-java-8.0.16.jar -P /export/software
cd /export/servers/dolphinscheduler-3.1.5
cp /export/software/mysql-connector-java-8.0.16.jar ./worker-server/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./api-server/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./alert-server/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./master-server/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./tools/libs
cp /export/software/mysql-connector-java-8.0.16.jar ./standalone-server/libs/standalone-server

3.5 配置commons-cli-1.5.0.jar包

执行如下命令下载commons-cli-1.5.0.jar包到/export/software目录下，并配置commons-cli-1.5.0.jar包。

wget https://maven.aliyun.com/repository/public/commons-cli/commons-cli/1.5.0/commons-cli-1.5.0.jar -P /export/software
cd /export/servers/dolphinscheduler-3.1.5
cp /export/software/commons-cli-1.5.0.jar ./worker-server/libs
cp /export/software/commons-cli-1.5.0.jar ./api-server/libs
cp /export/software/commons-cli-1.5.0.jar ./alert-server/libs
cp /export/software/commons-cli-1.5.0.jar ./master-server/libs
cp /export/software/commons-cli-1.5.0.jar ./tools/libs

4. 初始化MySQL上的存储dolphinscheduler元数据的数据库

执行如下命令初始化MySQL上的存储dolphinscheduler元数据的数据库。

bash $DS_HOME/tools/bin/upgrade-schema.sh

初始化完成如下图所示。

5. 安装DolphinScheduler

执行如下命令安装DolphinScheduler。

bash $DS_HOME/bin/install.sh

安装完成如下图所示。

如出现如上图master-server启动失败的情况，试用如下命令启动master-server并查看状态是否正常。

bash $DS_HOME/bin/dolphinscheduler-daemon.sh start master-server
bash $DS_HOME/bin/dolphinscheduler-daemon.sh status master-server

6. 登录 DolphinScheduler

浏览器访问地址http://192.168.121.100:12345/dolphinscheduler/ui即可登录系统UI。默认的用户名是admin，密码是dolphinscheduler123。

输入用户名和密码进行登录后会进入首页。

7. DolphinScheduler启停命令

7.1 一键停止集群所有服务

bash $DS_HOME/bin/stop-all.sh

7.2 一键开启集群所有服务

bash $DS_HOME/bin/start-all.sh

7.3 启停 Master

启动

bash $DS_HOME/bin/dolphinscheduler-daemon.sh start master-server

停止

bash $DS_HOME/bin/dolphinscheduler-daemon.sh stop master-server

查看状态

bash $DS_HOME/bin/dolphinscheduler-daemon.sh status master-server

7.4 启停 Worker

启动

bash $DS_HOME/bin/dolphinscheduler-daemon.sh start worker-server

停止

bash $DS_HOME/bin/dolphinscheduler-daemon.sh stop worker-server

查看状态

bash $DS_HOME/bin/dolphinscheduler-daemon.sh status worker-server

7.5 启停 Api

启动

bash $DS_HOME/bin/dolphinscheduler-daemon.sh start api-server

停止

bash $DS_HOME/bin/dolphinscheduler-daemon.sh stop api-server

查看状态

bash $DS_HOME/bin/dolphinscheduler-daemon.sh status api-server

7.6 启停 Alert

启动

bash $DS_HOME/bin/dolphinscheduler-daemon.sh start alert-server

停止

bash $DS_HOME/bin/dolphinscheduler-daemon.sh stop alert-server

查看状态

bash $DS_HOME/bin/dolphinscheduler-daemon.sh status alert-server