问题1。考虑到我有一个Dataframe df 和一个模式 myschema ,如何继续以avro格式将Dataframe写入kafka主题?问题2。如果我们不考虑 udf ?大多数可用的解决方案都适用于spark>2.4,其中内置了avro函数。
df
myschema
udf
monwx1rj1#
大多数可用的解决方案都适用于spark>2.4,其中内置了avro功能该内置函数是一个外部库,但后来被合并到主spark项目中。如果你有<2.4,我建议你升级你最终升级你的星火群集,或参考那里的文档。
1条答案
按热度按时间monwx1rj1#
大多数可用的解决方案都适用于spark>2.4,其中内置了avro功能
该内置函数是一个外部库,但后来被合并到主spark项目中。如果你有<2.4,我建议你升级你最终升级你的星火群集,或参考那里的文档。