Debezium PostgreSQL Source Connector

Debezium PostgreSQL Source Connector

Debezium MySQL Source Connector 是一个源连接器，可以获取 PostgreSQL 数据库中现有数据的快照，然后监视并记录对该数据的所有后续行级更改。每个表的所有事件都记录在单独的 Apache Kafka® 主题中，应用程序和服务可以轻松使用它们。

• Confluence 支持 Debezium PostgreSQL 连接器版本 0.9.3 及更高版本。
• Confluence 支持将此连接器与 PostgreSQL 9.6、10、11、12、13 和 14 一起使用。
• 由Heroku Postgres等服务托管的数据库无法使用 Debezium 进行监控，因为您可能无法安装逻辑解码插件。

一、安装 Debezium PostgreSQL Connector

您可以使用 Confluence Hub 客户端安装 或 手动下载 ZIP 文件来安装此连接器。

方式1: 使用 Confluent Hub CLI 安装

Confluence Hub 客户端的安装。默认情况下，它随 Confluence Enterprise 一起安装。

安装最新 (latest) 连接器版本。

要安装latest连接器版本，请导航到 Confluence Platform 安装目录并运行以下命令：

confluent-hub install debezium/debezium-connector-postgresql:latest \
   --component-dir /home/kafka/plugins \
   --worker-configs /usr/local/kafka_2.13-3.6.0/config/connect-distributed-prod.properties

您可以通过替换版本号来安装特定版本，latest如下例所示：

confluent-hub install debezium/debezium-connector-postgresql:<version-number>

Debezium PostgreSQL Source Connector 有特定的 ACL 要求。请参阅Debezium 源连接器的 ACL 要求，以确保满足指定的要求。

方式2：手动安装连接器

手动下载并解压连接器的压缩文件，然后按照说明进行操作。

https://debezium.io/releases/

https://debezium.io/releases/2.4/#releases

上传 /usr/local/src 目标并解压

cd /usr/local/src && tar -zxvf debezium-connector-postgres-2.4.2.Final-plugin.tar.gz -C /home/kafka/plugins

方式3：命令安装连接器

通过Linux命令下载并解压连接器的压缩文件，然后按照说明进行操作。

• https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/

上传 /usr/local/src 目标并解压

$ cd /usr/local/src && wget https://repo1.maven.org/maven2/io/debezium/debezium-connector-postgres/2.4.2.Final/debezium-connector-postgres-2.4.2.Final-plugin.tar.gz --no-check-certificate
$ tar -zxvf debezium-connector-postgres-2.4.2.Final-plugin.tar.gz -C  /home/kafka/plugins

二、开启 PostgreSQL 数据库 binlog 功能

log-bin=mysql-bin
binlog_format=row
server-id = 1
binlog_row_image=FULL

三、创建 PostgreSQL Connector 监听

https://debezium.io/documentation/reference/2.4/connectors/postgresql.html

{
    "name": "dw-mysql-connector", 
    "config": {
        "connector.class": "io.debezium.connector.mysql.MySqlConnector", 
        "database.hostname": "localhost", 
        "database.port": "4408", 
        "database.user": "root", 
        "database.password": "1caaf39927054ccb", 
        "database.server.id": "184054", 
        "database.server.name": "lyexcel",
        "topic.prefix": "mysql.table.name",  
        "database.include.list": "lyexcel", 
        "schema.history.internal.kafka.bootstrap.servers": "localhost:9092", 
        "schema.history.internal.kafka.topic": "mysql.schemahistory.fullfillment", 
        "include.schema.changes": "true" ,
        "table.include.list": "lyexcel.parm_xuenian,lyexcel.yonghu_school",
        "skip.messages.without.change":false,
        "column.include.list": "lyexcel.parm_xuenian.xuenian,lyexcel.parm_xuenian.xueqi,lyexcel.yonghu_school.Name,lyexcel.yonghu_school.Valus"
    }
}

参考资料

https://docs.confluent.io/kafka-connectors/debezium-postgres-source/current/overview.html