使用spark中的from\ avro函数反序列化kafka avro格式的结构无法正常工作

to94eoyn  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(255)

我曾经 to_avro 将dataframe中的struct字段序列化为“value”并写入kafka主题。
我的结构有几个字符串字段。我测试过了,所有的领域都有价值。使用spark streaming,我阅读主题并使用 from_avro 使用用于序列化结构的确切架构反序列化值。

select(from_avro($"value", schema).as("value"))

返回的是结果Dataframe中的结构字段。但是,结构中总是有一些字段没有值。只是有些字段有正确的值。
这会是一个错误吗 to_avro / from_avro 函数或我没有正确使用它们?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题