将scalapb与spark结构化流和java生成的protobuf类结合使用

3npbholx  于 2021-07-14  发布在  Spark
关注(0)|答案(1)|浏览(319)

我正在进行的项目正处于规划/原型阶段,我们希望使用kafka中的protobuf编码消息和结构化流将数据流传输到spark3中。我们已经使用spark streaming(vs structured streaming)进行了原型化,其中我们可以指定kafka将使用的serde类,但是对于structured streaming,它显然是不同的。
据我所知,目前看来最干净的方法是使用scalapb。它的文档似乎非常简单(谢谢!)但是,我无法确定它是否可以与现有生成的java protobuf类一起工作,或者是否也必须生成这些.proto文件的scala版本。
使用docs@https://scalapb.github.io/docs/sparksql person类是java还是scala?

j2qf4p5b

j2qf4p5b1#

sparksqlscalapb只能与scalapb生成的代码一起工作。

相关问题