我们有一个csv文件格式的业务事件,需要使用kafka将其附加到数据库(在我们的示例中是snowflake)。我们是否需要将csv文件转换为json格式(使用python),然后将值传递给kafka producer主题?
yzxexxkh1#
使用Kafka连接。使用诸如kafka connect spooldir之类的连接器将csv文件读入kafka(参见示例)使用snowflake用于kafka connect的连接器从kafka主题流到snowflake(参见示例)了解更多关于Kafka连接在这个演讲。
1条答案
按热度按时间yzxexxkh1#
使用Kafka连接。
使用诸如kafka connect spooldir之类的连接器将csv文件读入kafka(参见示例)
使用snowflake用于kafka connect的连接器从kafka主题流到snowflake(参见示例)
了解更多关于Kafka连接在这个演讲。