我正在进行的项目正处于规划/原型阶段,我们希望使用kafka中的protobuf编码消息和结构化流将数据流传输到spark3中。我们已经使用spark streaming(vs structured streaming)进行了原型化,其中我们可以指定kafka将使用的serde类,但是对于structured streaming,它显然是不同的。
据我所知,目前看来最干净的方法是使用scalapb。它的文档似乎非常简单(谢谢!)但是,我无法确定它是否可以与现有生成的java protobuf类一起工作,或者是否也必须生成这些.proto文件的scala版本。
使用docs@https://scalapb.github.io/docs/sparksql person类是java还是scala?
1条答案
按热度按时间j2qf4p5b1#
sparksqlscalapb只能与scalapb生成的代码一起工作。