尝试找到一个如何使用gobblin将protobuf消息转换为parquet的示例。找不到。
Scenario:
- Kafka messages are in Protobuf
- Gobblin Consumer: consumes protobuf from kafka and writes them as parquet into HDFS
gobblin运行时确实有一个名为:
public class ParquetDataWriterBuilder extends FsDataWriterBuilder<MessageType, Group>
https://github.com/apache/incubator-gobblin/blob/master/gobblin-modules/gobblin-parquet/src/main/java/org/apache/gobblin/writer/parquetdatawriterbuilder.java
但这似乎并没有像现在这样接受协议信息。他们必须首先转变成一个团体。
无法确定如何将protobuf消息转换为组。
任何指向具有protobuf到parquet转换的gobblin消费者的指针都应该有所帮助。
暂无答案!
目前还没有任何答案,快来回答吧!