3.3、其它连接器类

connector.class用来设置连接器类的全限定名称,有时候设置为类名也是可以的,Kafka Connect会在classpath中自动搜索这个类并加载。Kafka中默认只提供了与文件相关的连接器,如果要实现与其他数据存储系统相连接,那么可以参考文件连接器的具体实现来自定义一套连接器,或者搜寻开源的实现,比如Confluent公司提供的
一些产品:

kafka-connect-elasticsearch(https://github.com/confluentinc/kafka-connect-elasticsearch);
kafka-connect-jdbc (https://github.com/confluentinc/kafka-connect-jdbc);
kafka-connect-hdfs (https://github.com/confluentinc/kafka-connect-hdfs);
kafka-connect-storage-cloud (https://github.com/confluentinc/kafka-connect-storage-cloud).

4、示例MySQL数据同步到Redis
4.1、准备连接器

下载连接器

MySQL连接器:https://www.confluent.io/hub/confluentinc/kafka-connect-jdbc

Redis连接器:https://www.confluent.io/hub/jcustenborder/kafka-connect-redis

安装插件

在kafka目录下新建connect文件夹:

cd /usr/local/kafka_2.12-3.1.0
mkdir connect

1
2

将下载的插件移动到connect文件夹中:

cp confluentinc-kafka-connect-jdbc-10.7.4 /usr/local/kafka_2.12-3.1.0/confluentinc-kafka-connect-jdbc-10.7.4

cp jcustenborder-kafka-connect-redis-0.0.4 /usr/local/kafka_2.12-3.1.0/jcustenborder-kafka-connect-redis-0.0.4

1
2
3

下载mysql对应的驱动,放到confluentinc-kafka-connect-jdbc-10.7.4/lib目录下

mv mysql-connector-java-8.0.20.jar /usr/local/kafka_2.12-3.1.0/confluentinc-kafka-connect-jdbc-10.7.4/lib/mysql-connector-java-8.0.20.jar

1

修改distributed配置:

vim /usr/local/kafka_2.12-3.1.0/config/connect-distributed.properties

1

指定插件位置:

plugin.path=../connect

1

启动Connect,查看插件是否加载成功:

./connect-distributed.sh ../config/connect-distributed.properties
————————————————
版权声明:本文为CSDN博主「吴声子夜歌」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/cold___play/article/details/132332031

作者:Jeebiz  创建时间:2023-12-07 12:56
最后编辑:Jeebiz  更新时间:2024-09-23 10:03