在intellijide中构建spark应用程序(scala)时收到错误。这是一个使用kafka流进行进一步处理的简单应用程序。我已经添加了所有jar,ide没有显示任何未解析的import或code语句。
然而,当我尝试构建工件时,我得到两个错误,说明这个错误:(13,35)对象kafka不是包的成员
org.apache.spark.streaming
import org.apache.spark.streaming.kafka.KafkaUtils
Error:(35, 60) not found: value KafkaUtils
val messages: ReceiverInputDStream[(String, String)] = KafkaUtils.createStream(streamingContext,zkQuorum,"myGroup",topics)
我也见过类似的问题,但大多数的ppl抱怨这个问题,而提交给Spark。然而,我只在这之后一步构建了jar文件,它最终将提交给spark。最重要的是,我使用intellijide和一点新的Spark和scala;在这里迷路了。
下面是intellij错误intellij error的快照
谢谢
奥马尔
1条答案
按热度按时间3pmvbmvn1#
原因是你需要添加
spark-streaming-kafka-K.version-Sc.version.jar
到pom.xml和spark lib目录。