spark,kafka集成问题:对象kafka不是org.apache.spark.streaming的成员

bprjcwpo  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(551)

在intellijide中构建spark应用程序(scala)时收到错误。这是一个使用kafka流进行进一步处理的简单应用程序。我已经添加了所有jar,ide没有显示任何未解析的import或code语句。
然而,当我尝试构建工件时,我得到两个错误,说明这个错误:(13,35)对象kafka不是包的成员

org.apache.spark.streaming
import org.apache.spark.streaming.kafka.KafkaUtils

Error:(35, 60) not found: value KafkaUtils
    val messages: ReceiverInputDStream[(String, String)] = KafkaUtils.createStream(streamingContext,zkQuorum,"myGroup",topics)

我也见过类似的问题,但大多数的ppl抱怨这个问题,而提交给Spark。然而,我只在这之后一步构建了jar文件,它最终将提交给spark。最重要的是,我使用intellijide和一点新的Spark和scala;在这里迷路了。
下面是intellij错误intellij error的快照
谢谢
奥马尔

3pmvbmvn

3pmvbmvn1#

原因是你需要添加 spark-streaming-kafka-K.version-Sc.version.jar 到pom.xml和spark lib目录。

相关问题