datax-executor

https://hub.docker.com/r/292427558/datax-executor

使用

需配合datax-admin镜像使用。由于镜像中包含目前(20220421)datax 所有插件 镜像体积较大

请参考

https://hub.docker.com/repository/docker/292427558/datax-admin

源代码请参考

https://github.com/292427558/datax-web/tree/2.1.2-docker

Dockerfile 在 datax-executor 目录下

datax-admin

https://hub.docker.com/r/292427558/datax-admin

原作者仓库

https://github.com/WeiYe-Jing/datax-web

感兴趣 给原作者点个赞!!

修改

我在原作者基础上 修改了docker配置(原dockerfile 部分链接过时 不能编译) 打包镜像

在原分支 2.1.2上 调整了 生成json 关系数据库字段顺序,避免数据库字段顺序不一致导致的数据迁移错误。
使用

1、必须使用mysql数据库,且按照datax-web 2.1.2 的数据库文件 导入数据库,此镜像不内置数据库。

请导入如下sql脚本

https://raw.githubusercontent.com/292427558/datax-web/2.1.2-docker/bin/db/datax_web.sql

2、需配合datax-executor镜像使用。

创建调度中心

docker run -p 8080:9527 -e DB_PASSWORD=passwoed -e DB_USERNAME=root -e DB_HOST=192.168.1.10 -e DB_PORT=3306 -v D:\project\datax-web\data:/opt/datax-web-admin/data -d –name datax-web-admin 292427558/datax-admin:v2.1.2

D:\project\datax-web\data 为本地目录 用于存放日志文件

访问8080端口即可进入web管理页

默认密码 admin 123456
一些环境变量

DB_PASSWORD:数据库密码

DB_USERNAME:数据库用户

DB_HOST:数据库host

DB_PORT:数据库端口

DB_DATABASE:数据库名称

MAIL_USERNAME:邮箱账户 貌似仅支持qq邮箱

MAIL_PASSWORD:邮箱密码

JAVA_OPTS:java虚拟机参数 可限制内存大小 -Xms128M -Xmx256M

创建执行器

需要依赖镜像 292427558/datax-executor:v2.1.2

建议调度器 datax-admin和执行器放在同一台机器上执行 执行器可以创建多个 名称不一样就可

docker run -e DATAX_ADMIN_HOST=datax-web-admin -v D:\project\datax-web\data:/opt/datax-executor/data –link datax-web-admin:datax-web-admin -d –name datax-executor 292427558/datax-executor:v2.1.2

环境变量 DATAX_ADMIN_HOST 配置为 上一步调度器的名称 需要保持一致

D:\project\datax-web\data 配置为日志等存储目录

–link datax-web-admin:datax-web-admin 中名称与 上一步调度器的名称 需要保持一致

源代码请参考

https://github.com/292427558/datax-web/tree/2.1.2-docker

作者:Jeebiz  创建时间:2022-05-07 17:06
 更新时间:2024-07-10 22:56