kafka producer vs kafka connect读取mysql数据源

omqzjyyz  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(394)

我已经创建了一个Kafka生产者,读取网站点击数据流从mysql数据库,它工作得很好。我发现我也可以使用kafka connect或debezium将kafka连接到mysql数据源。我的目标是使用kafka获取数据并将其发送给storm进行消费和分析。看起来这两种方法都可以实现我的目标,但是使用kafka producer可能需要我构建一个kafka服务来不断读取数据源。
两种方法中哪一种对我的数据管道更有效?

i7uaboj4

i7uaboj41#

我建议不要重新发明轮子和使用debezium(免责声明:我是它的项目负责人)。
它功能丰富(支持的数据类型、配置选项、可以进行初始快照等),并且在生产中经过了良好的测试。要记住的另一个关键方面是debezium是基于读取db的日志而不是轮询的(您可以在您的生产者中执行相同的操作,这从问题中不清楚)。这比轮询有许多优点:
低频轮询没有延迟,高频轮询没有cpu负载
可以捕获所有更改,而不会在两次轮询之间丢失某些更改
可以捕获删除
对模式没有影响(不需要列来标识更改的行)

相关问题