应该使用哪个框架来聚合和连接kafka主题的数据并存储到mysql

5cnsuln7  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(306)

我使用debezium连接器mysql插件从mysql获得了两个kafka主题中的数据。现在我想在每日级别聚合这些数据,并将其存储到另一个mysql表中。
请建议。
谢谢。

qlckcl4x

qlckcl4x1#

你还没有真正列出你的需求,只是说你不想使用合流平台(但没有说为什么)。
一般来说,对于Kafka中的数据(无论数据来自何处),您有不同的处理选项:
定制消费者(考虑到流处理框架的可用性,这可能是个坏主意)
ksql(使用sql进行连接等)-合流平台的一部分
kafka streams—一个用于进行流处理的java库。Apache·Kafka的一部分。
flink、spark streaming、samza、heron等
使用哪一种取决于你自己,这将归结为
使用中的现有技术(如果不需要,部署spark群集没有意义;相反,如果您已经使用了spark,并且有很多开发人员接受过spark方面的培训,那么使用spark是有意义的)
开发人员对语言的熟悉程度-它必须是JavaAPI,还是sql更易访问
框架/工具的功能-您是否需要紧密的安全集成、一次处理、cep等。其中一些将排除您使用的工具。
一旦您加入并聚合了数据,一个好的模式就是将其写回kafka(这样可以更松散地解耦您的设计,并允许分离组件的责任),然后使用kafka connect和jdbc sink将其写回mysql。Kafka连接是ApacheKafka的一部分。
最后要考虑的一点是:如果你从mysql中获取数据,处理后再写回mysql……你需要kafka吗?有没有合适的理由使用它而不仅仅是在mysql中进行处理?
免责声明:我为confluent工作。

相关问题