这就是我们的发展环境
1) Kafka群集-版本是0.10 2)spark cluster-1.6,其中有0.9个Kafkajar
我们正试图在spark cluster模式下生成()和消耗()(通过spark提交)
运行spark提交作业时,spark选择0.9版本的kafka。以下是我们的观察
1) producer–工作正常(0.9 api和0.10 api producer兼容)2)使用kafkautils的流式kafka消费者–工作正常(这里似乎也有0.9 api和0.10 api producer兼容)3)使用subscribe()api的消费者–出现错误,并显示以下消息。有人能帮我们知道为什么它失败了吗?
16/10/24 02:31:08 error yarn.applicationmaster:用户类引发异常:java.lang.nosuchmethoderror:org.apache.kafka.clients.consumer.kafkaconsumer.subscribe(ljava/util/collection;)v java.lang.nosuchmethoderror:org.apache.kafka.clients.consumer.kafkaconsumer.subscribe(ljava/util/collection;)v位于com.common.kafka.init(kafkafunction。java:150)在com.client.client.main(客户端。java:100)在sun.reflect.nativemethodaccessorimpl.invoke0(本机方法)在sun.reflect.nativemethodaccessorimpl.invoke(nativemethodaccessorimpl)。java:57)在sun.reflect.delegatingmethodaccessorimpl.invoke(delegatingmethodaccessorimpl。java:43)在java.lang.reflect.method.invoke(方法。java:606)在org.apache.spark.deploy.yarn.applicationmaster$$anon$2.run(applicationmaster。scala:542)16/10/24 02:31:08 info.applicationmaster:最终应用程序状态:失败,退出代码:15,(原因:用户类引发异常:java.lang.nosuchmethoderror:org.apache.kafka.clients.consumer.kafkaconsumer.subscribe(ljava/util/collection;)五)
1条答案
按热度按时间brvekthn1#
把所有的东西更新到
0.10
解决问题。这些版本在这一行绝对不兼容org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/util/Collection;)V