使用kafka connect的csv数据流

ruoxqz4g  于 2021-06-05  发布在  Kafka
关注(0)|答案(1)|浏览(555)

我们有一个csv文件格式的业务事件,需要使用kafka将其附加到数据库(在我们的示例中是snowflake)。
我们是否需要将csv文件转换为json格式(使用python),然后将值传递给kafka producer主题?

yzxexxkh

yzxexxkh1#

使用Kafka连接。
使用诸如kafka connect spooldir之类的连接器将csv文件读入kafka(参见示例)
使用snowflake用于kafka connect的连接器从kafka主题流到snowflake(参见示例)
了解更多关于Kafka连接在这个演讲。

相关问题