一旦你把数据放到Kafka上，你有没有考虑过使用linkedin的加缪。它将运行mapreduce作业，但您应该获得所需的架构数据布局。您还应该了解confluent的kafka堆栈，特别是它提供的模式注册表和RESTAPI。

我们最终还是成功了。我们使用的是microsoft.net avro库，而不是c#producer中的apache avro库。这意味着avro记录被正确序列化。我还需要将flume接收器更改为使用“org.apache.flume.sink.hdfs.avroeventserializer$builder”作为接收器序列化程序，而不是“avro\u event”。我还需要包括一个连接到kafka源的flume拦截器，该拦截器将变量“flume.avro.schema.url”推送到flume头中，稍后由hdfs接收器序列化程序使用。
我看了一眼加缪，但对于我们试图实现的东西来说，似乎有些过分了，一个连接到Kafka主题的基本flume频道，它将avro数据接收到hdfs。
我刚刚从构建flume配置的java应用程序中删除了拦截器部分，希望它能帮助遇到此问题的其他人：

_flumeFileConfigProperties.put(_agentId+".sources." + _sourceId +".interceptors",_interceptorId);           
                _flumeFileConfigProperties.put(_agentId+".sources." + _sourceId + ".interceptors." + _interceptorId + ".type","static");
                _flumeFileConfigProperties.put(_agentId+".sources." + _sourceId + ".interceptors." + _interceptorId + ".key","flume.avro.schema.url");
                _flumeFileConfigProperties.put(_agentId+".sources." + _sourceId + ".interceptors." + _interceptorId + ".value",_avroProdSchemaLocation +_databaseName + "/" + _topic + "/record/" + _schemaVersion + "/" + _topicName + ".avsc");