以avro格式为spark< 2.4编写Dataframe到kafka主题?

k5ifujac  于 2021-05-27  发布在  Spark
关注(0)|答案(1)|浏览(441)

问题1。考虑到我有一个Dataframe df 和一个模式 myschema ,如何继续以avro格式将Dataframe写入kafka主题?
问题2。如果我们不考虑 udf ?
大多数可用的解决方案都适用于spark>2.4,其中内置了avro函数。

monwx1rj

monwx1rj1#

大多数可用的解决方案都适用于spark>2.4,其中内置了avro功能
该内置函数是一个外部库,但后来被合并到主spark项目中。如果你有<2.4,我建议你升级你最终升级你的星火群集,或参考那里的文档。

相关问题