dolphinscheduler 部署文档

与官方包的差异

自有包内置MySQL驱动，和内部的定制功能。并且定期于官方最新版本同步
请下载源码包 3.0.0-beta-2-tianyin.tar.gz，下载地址:下载

tar -zxvf 3.0.0-beta-2-tianyin3.0.0-beta-2-tianyin.tar.gz
cd apache-dolphinscheduler-3.0.0-beta-2-src/deploy/kubernetes/dolphinscheduler
helm repo add bitnami https://charts.bitnami.com/bitnami
helm dependency update .

用 MySQL 替代 PostgreSQL 作为 DolphinScheduler 的数据库

修改 values.yaml 文件中 postgresql 的 enabled 为 false

修改 values.yaml 文件中的 externalDatabase 配置 (尤其修改 host, username 和 password)

externalDatabase:
type: “mysql”
host: “localhost”
port: “3306”
username: “root”
password: “root”
database: “dolphinscheduler”
params: “useUnicode=true&characterEncoding=UTF-8”

支持 S3 资源存储，例如 MinIO

以 MinIO 为例: 修改 values.yaml 文件中下面的配置项。 实际测试不生效

common:
configmap:
RESOURCE_STORAGE_TYPE: “S3”
RESOURCE_UPLOAD_PATH: “/dolphinscheduler”
FS_DEFAULT_FS: “s3a://BUCKET_NAME”
FS_S3A_ENDPOINT: “http://MINIO_IP:9000"
FS_S3A_ACCESS_KEY: “MINIO_ACCESS_KEY”
FS_S3A_SECRET_KEY: “MINIO_SECRET_KEY”

BUCKET_NAME, MINIO_IP, MINIO_ACCESS_KEY 和 MINIO_SECRET_KEY 需要被修改为实际值

修改common.properties 以此为准

resource.storage.type 修改为S3
fs.defaultFS 修改为 s3a://dolphinscheduler
aws.access.key.id 修改为实际内容，例如：minioadmin
aws.secret.access.key 修改为实际内容，例如：minioadmin
aws.endpoint 修改为实际内容，例如：http://minio-headless.dw-test:9000

执行命令 ,添加配置到 configmap

kubectl create configmap dolphin-common –from-file=common.properties -n {namespace}

注意: MINIO_IP 只能使用 IP 而非域名, 因为 DolphinScheduler 尚不支持 S3 路径风格访问 (S3 path style access)

将名为 dolphinscheduler 的版本发布到 test 的命名空间中：

helm install dolphinscheduler . -n test

遇到下载依赖报错可以替换 Chart.yaml 中的repository 为 https://bitnami-1258558702.cos.ap-shanghai.myqcloud.com/chart
初始化worker节点

下载datax

curl -fL "https://aiban-generic.pkg.coding.net/tianyin/datax/target/datax.tar.gz?version=latest" -o datax.tar.gz

进入节点，创建文件夹

kubectl exec -n dw-test -it dolphinscheduler-worker-0 bash
mkdir /opt/soft/

复制datax到worker

kubectl cp datax.tar.gz dolphinscheduler-worker-0:/opt/soft/ -n dw-test

进入节点，解压文件夹

kubectl exec -n dw-test -it dolphinscheduler-worker-0 bash
cd /opt/soft/
tar -zxvf datax.tar.gz -C /opt/soft/

验证datax能力

cd /opt/soft/datax/bin && ./datax.py