Apache Pulsar - 消息队列

KoP 是 Kafka on Pulsar 的缩写,顾名思义就是如何在 Pulsar 上读写 Kafka 数据。 KoP 将 Kafka 协议处理插件引入 Pulsar Broker,以使 Apache Pulsar 与 Apache Kafka 协议兼容。通过将 KoP 协议处理插件添加到现有的 Pulsar 集群中,用户可以将现有的 Kafka 应用程序和服务迁移到 Pulsar,而无需修改代码。

Apache Pulsar 的主要特性如下:

• 借助企业级多租户功能简化运营。

• 避免数据重定位,简化操作。

• 使用 Apache BookKeeper 和分层存储永久保留事件流。

• 利用 Pulsar Functions 进行无服务器事件处理。

KoP 架构如下图所示,它表明 KoP 引入了一个新的协议处理插件,该插件利用 Pulsar 的现有组件(例如主题发现、分布式日志存储库-ManagedLedger、游标等)来实现 Kafka 传输协议。

订阅 Pulsar 数据的常规负载

Apache Doris Routine Load 支持将 Kafka 数据访问到 Apache Doris,并保证数据访问过程中的事务性操作。 Apache Pulsar 定位为云原生时代的企业消息发布和订阅系统,已被许多在线服务使用。那么 Apache Pulsar 用户如何访问 Apache Doris 的数据呢?答案是通过 KoP。

由于 Kop 在 Pulsar 中直接提供了对 Kafka 的兼容性,所以 Plusar 可以像 Kafka for Apache Doris 一样使用,并且整个过程无需更改任务即可完成 Apache Doris 将 Pulsar 数据连接到 Apache Doris 并获得 Routine Load 的事务性保证
实际操作

Pulsar安装环境准备:

下载 Pulsar 二进制包并解压: