我已经创建了一个Kafka生产者，读取网站点击数据流从mysql数据库，它工作得很好。我发现我也可以使用kafka connect或debezium将kafka连接到mysql数据源。我的目标是使用kafka获取数据并将其发送给storm进行消费和分析。看起来这两种方法都可以实现我的目标，但是使用kafka producer可能需要我构建一个kafka服务来不断读取数据源。
两种方法中哪一种对我的数据管道更有效？
我已经创建了一个Kafka生产者，读取网站点击数据流从mysql数据库，它工作得很好。我发现我也可以使用kafka connect或debezium将kafka连接到mysql数据源。我的目标是使用kafka获取数据并将其发送给storm进行消费和分析。看起来这两种方法都可以实现我的目标，但是使用kafka producer可能需要我构建一个kafka服务来不断读取数据源。
两种方法中哪一种对我的数据管道更有效？
1条答案
按热度按时间i7uaboj41#
我建议不要重新发明轮子和使用debezium（免责声明：我是它的项目负责人）。
它功能丰富（支持的数据类型、配置选项、可以进行初始快照等），并且在生产中经过了良好的测试。要记住的另一个关键方面是debezium是基于读取db的日志而不是轮询的（您可以在您的生产者中执行相同的操作，这从问题中不清楚）。这比轮询有许多优点：
低频轮询没有延迟，高频轮询没有cpu负载
可以捕获所有更改，而不会在两次轮询之间丢失某些更改
可以捕获删除
对模式没有影响（不需要列来标识更改的行）