重写spark中的kafka键和值反序列化程序

j9per5c4  于 2021-07-13  发布在  Spark
关注(0)|答案(1)|浏览(295)

我正在阅读spark-kafka集成文档,发现我不能重写key.deserializer、value.deserializer和schema.registry.url。我只是想知道为什么要实行这种限制。我试图解码来自spark的avro消息,我不得不编写自定义逻辑,而这是由其他kafka客户机库提供的。

v8wbuo2f

v8wbuo2f1#

您可能会从spark dev邮件列表中得到更直接的答案,但我的想法是kafka序列化程序接口和子类本身不是可序列化的对象,因此不能在驱动程序级别示例化,并且需要对每个批进行重新配置

相关问题