avro串行数据到parquet文件

nr7wwzry  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(272)

我正在创建Kafka和Spark流管道。这里的数据是使用avro genericrecord和kafka模式注册表进行avro序列化的,然后存储在kafka主题中。Spark流是用来阅读Kafka的主题。我的需求是使用javaapi将spark流输出以附加方式存储到parquet文件中。请告诉我合适的方法。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题