与官方包的差异
自有包内置MySQL驱动,和内部的定制功能。并且定期于官方最新版本同步
请下载源码包 3.0.0-beta-2-tianyin.tar.gz,下载地址:下载
tar -zxvf 3.0.0-beta-2-tianyin3.0.0-beta-2-tianyin.tar.gz
cd apache-dolphinscheduler-3.0.0-beta-2-src/deploy/kubernetes/dolphinscheduler
helm repo add bitnami https://charts.bitnami.com/bitnami
helm dependency update .
用 MySQL 替代 PostgreSQL 作为 DolphinScheduler 的数据库
externalDatabase:
type: “mysql”
host: “localhost”
port: “3306”
username: “root”
password: “root”
database: “dolphinscheduler”
params: “useUnicode=true&characterEncoding=UTF-8”
支持 S3 资源存储,例如 MinIO
以 MinIO 为例: 修改 values.yaml 文件中下面的配置项。 实际测试不生效
common:
configmap:
RESOURCE_STORAGE_TYPE: “S3”
RESOURCE_UPLOAD_PATH: “/dolphinscheduler”
FS_DEFAULT_FS: “s3a://BUCKET_NAME”
FS_S3A_ENDPOINT: “http://MINIO_IP:9000"
FS_S3A_ACCESS_KEY: “MINIO_ACCESS_KEY”
FS_S3A_SECRET_KEY: “MINIO_SECRET_KEY”
BUCKET_NAME, MINIO_IP, MINIO_ACCESS_KEY 和 MINIO_SECRET_KEY 需要被修改为实际值
修改common.properties 以此为准
执行命令 ,添加配置到 configmap
kubectl create configmap dolphin-common –from-file=common.properties -n {namespace}
将名为 dolphinscheduler 的版本发布到 test 的命名空间中:
helm install dolphinscheduler . -n test
遇到下载依赖报错可以替换 Chart.yaml 中的repository 为 https://bitnami-1258558702.cos.ap-shanghai.myqcloud.com/chart
初始化worker节点
kubectl cp datax.tar.gz dolphinscheduler-worker-0:/opt/soft/ -n dw-test
cd /opt/soft/datax/bin && ./datax.py
最后编辑:Jeebiz 更新时间:2024-07-10 22:56