我曾经 to_avro
将dataframe中的struct字段序列化为“value”并写入kafka主题。
我的结构有几个字符串字段。我测试过了,所有的领域都有价值。使用spark streaming,我阅读主题并使用 from_avro
使用用于序列化结构的确切架构反序列化值。
select(from_avro($"value", schema).as("value"))
返回的是结果Dataframe中的结构字段。但是,结构中总是有一些字段没有值。只是有些字段有正确的值。
这会是一个错误吗 to_avro
/ from_avro
函数或我没有正确使用它们?
暂无答案!
目前还没有任何答案,快来回答吧!