我们正在使用hdp3.1.4,并希望使用kafka处理程序进行kafka和hive集成。
我们在kafka中的许多主题都是使用合流模式注册表用avro序列化的,hdp3.1.4附带的默认kafka处理程序不包含用包含魔字节的合流序列化的avro消息的新特性。在Kafka处理器的新版本中,我们有一些属性,例如 'avro.serde.type'='skip'
以及 'avro.serde.skip.bytes'='5'
处理魔法字节。
所以我们想用我们自己编译的kafka处理程序4.0替换kafka处理程序。我们只是开始用默认的hdp kafka处理程序替换kafka处理程序4.0,但我们遇到了以下错误:
MetaException(message:java.lang.NoSuchFieldError AVRO_SERDE_TYPE)
``` `AVRO_SERDE_TYPE` 已添加到 `hive-serde 4.0` 我们调查这是因为Kafka处理器依赖于 `kafka-exec` 以及 `kafka-exec` 包含我们的旧 `hive-serde` hdp附带的。
我们应该替换 `hive-serde` 我也是。所以我们继续着色 `hive-serde` 在Kafka处理程序中:
暂无答案!
目前还没有任何答案,快来回答吧!