3、数据订阅（Kafka 方案）

Kafka Connect 是一种可扩展且可靠地在 Apache Kafka 和其他系统之间传输数据的工具。它使快速定义将大量数据移入和移出 Kafka 的连接器变得简单。Kafka Connect 可以从所有应用程序服务器中提取整个数据库或收集指标到 Kafka 主题中，使数据可用于低延迟的流处理。导出作业可以将数据从 Kafka 主题传送到辅助存储和查询系统，或传送到批处理系统以供离线分析。

Kafka 连接功能包括：

• Kafka 连接器的通用框架——Kafka Connect 标准化了其他数据系统与 Kafka 的集成，简化了连接器的开发、部署和管理
• 分布式和独立模式——向上扩展为支持整个组织的大型集中管理服务，或向下扩展为开发、测试和小型生产部署
• REST 接口- 通过易于使用的 REST API 向您的 Kafka Connect 集群提交和管理连接器
• 自动偏移量管理——只需来自连接器的少量信息，Kafka Connect 就可以自动管理偏移量提交过程，因此连接器开发人员无需担心连接器开发中这个容易出错的部分
• 默认情况下是分布式和可扩展的——Kafka Connect 建立在现有的组管理协议之上。可以添加更多工作人员以扩展 Kafka Connect 集群。
• 流/批集成——利用 Kafka 的现有功能，Kafka Connect 是桥接流和批数据系统的理想解决方案

https://kafka.apache.org/documentation/#connect_overview