gobblinmapreduce从protobuf到parquet的转换

nbysray5  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(418)

尝试找到一个如何使用gobblin将protobuf消息转换为parquet的示例。找不到。

Scenario:
- Kafka messages are in Protobuf
- Gobblin Consumer: consumes protobuf from kafka and writes them as parquet into HDFS

gobblin运行时确实有一个名为:

public class ParquetDataWriterBuilder extends FsDataWriterBuilder<MessageType, Group>

https://github.com/apache/incubator-gobblin/blob/master/gobblin-modules/gobblin-parquet/src/main/java/org/apache/gobblin/writer/parquetdatawriterbuilder.java
但这似乎并没有像现在这样接受协议信息。他们必须首先转变成一个团体。
无法确定如何将protobuf消息转换为组。
任何指向具有protobuf到parquet转换的gobblin消费者的指针都应该有所帮助。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题