我想用flume把solace中的数据带到hadoop中，有人能告诉我如何编写拦截器将protobuf转换成avro吗？
wfveoks01#
有一个非常详细的集成指南，描述了如何使用jms flume源从solace消息总线接收消息。这是你正在使用的接口吗？如果是这样的话，肯·巴尔的博客文章(https://solace.com/blog/devops/solace-as-flume-channel-technical-look)给出了Flume源和Flume的实现。完整的源代码位于http://dev.solace.com/wp-content/uploads/solace-flume-channel.tgz您需要修改flumeeventtosolacemessageconverter.solacetoflume（）方法来支持protobuf到avro用例。ootb它只是假设jms消息的主体是avro消息。在github上，我们发现了protobuf到avro的转换器（vpon/protobuf到avro），它使用.proto模式文件生成pojo转换器。
1条答案
按热度按时间wfveoks01#
有一个非常详细的集成指南，描述了如何使用jms flume源从solace消息总线接收消息。
这是你正在使用的接口吗？
如果是这样的话，肯·巴尔的博客文章(https://solace.com/blog/devops/solace-as-flume-channel-technical-look)给出了Flume源和Flume的实现。完整的源代码位于http://dev.solace.com/wp-content/uploads/solace-flume-channel.tgz
您需要修改flumeeventtosolacemessageconverter.solacetoflume（）方法来支持protobuf到avro用例。ootb它只是假设jms消息的主体是avro消息。
在github上，我们发现了protobuf到avro的转换器（vpon/protobuf到avro），它使用.proto模式文件生成pojo转换器。