我正在阅读spark-kafka集成文档,发现我不能重写key.deserializer、value.deserializer和schema.registry.url。我只是想知道为什么要实行这种限制。我试图解码来自spark的avro消息,我不得不编写自定义逻辑,而这是由其他kafka客户机库提供的。
v8wbuo2f1#
您可能会从spark dev邮件列表中得到更直接的答案,但我的想法是kafka序列化程序接口和子类本身不是可序列化的对象,因此不能在驱动程序级别示例化,并且需要对每个批进行重新配置
1条答案
按热度按时间v8wbuo2f1#
您可能会从spark dev邮件列表中得到更直接的答案,但我的想法是kafka序列化程序接口和子类本身不是可序列化的对象,因此不能在驱动程序级别示例化,并且需要对每个批进行重新配置