3.3、其它连接器类
connector.class用来设置连接器类的全限定名称,有时候设置为类名也是可以的,Kafka Connect会在classpath中自动搜索这个类并加载。Kafka中默认只提供了与文件相关的连接器,如果要实现与其他数据存储系统相连接,那么可以参考文件连接器的具体实现来自定义一套连接器,或者搜寻开源的实现,比如Confluent公司提供的
一些产品:
kafka-connect-elasticsearch(https://github.com/confluentinc/kafka-connect-elasticsearch);
kafka-connect-jdbc (https://github.com/confluentinc/kafka-connect-jdbc);
kafka-connect-hdfs (https://github.com/confluentinc/kafka-connect-hdfs);
kafka-connect-storage-cloud (https://github.com/confluentinc/kafka-connect-storage-cloud).
4、示例MySQL数据同步到Redis
4.1、准备连接器
下载连接器
MySQL连接器:https://www.confluent.io/hub/confluentinc/kafka-connect-jdbc
Redis连接器:https://www.confluent.io/hub/jcustenborder/kafka-connect-redis
安装插件
在kafka目录下新建connect文件夹:
cd /usr/local/kafka_2.12-3.1.0
mkdir connect
1
2
将下载的插件移动到connect文件夹中:
cp confluentinc-kafka-connect-jdbc-10.7.4 /usr/local/kafka_2.12-3.1.0/confluentinc-kafka-connect-jdbc-10.7.4
cp jcustenborder-kafka-connect-redis-0.0.4 /usr/local/kafka_2.12-3.1.0/jcustenborder-kafka-connect-redis-0.0.4
1
2
3
下载mysql对应的驱动,放到confluentinc-kafka-connect-jdbc-10.7.4/lib目录下
mv mysql-connector-java-8.0.20.jar /usr/local/kafka_2.12-3.1.0/confluentinc-kafka-connect-jdbc-10.7.4/lib/mysql-connector-java-8.0.20.jar
1
修改distributed配置:
vim /usr/local/kafka_2.12-3.1.0/config/connect-distributed.properties
1
指定插件位置:
plugin.path=../connect
1
启动Connect,查看插件是否加载成功:
./connect-distributed.sh ../config/connect-distributed.properties
————————————————
版权声明:本文为CSDN博主「吴声子夜歌」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/cold___play/article/details/132332031
最后编辑:Jeebiz 更新时间:2024-11-01 10:06