我在scala中运行spark wordcount时在eclipse中遇到错误

dm7nw8vv  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(264)

这个问题在这里已经有答案了

scala项目不会在eclipse中编译找不到主类。“(12个答案)
三年前关门了。
我的scala程序:

import org.apache.spark._
import org.apache.spark.SparkContext._

object WordCount {
    def main(args: Array[String]) {
      val inputFile = args(0)
      val outputFile = args(1)
      val conf = new SparkConf().setAppName("wordCount")
      // Create a Scala Spark Context.
      val sc = new SparkContext(conf)
      // Load our input data.
      val input =  sc.textFile(inputFile)
      // Split up into words.
      val words = input.flatMap(line => line.split(" "))
      // Transform into word and count.
      val counts = words.map(word => (word, 1)).reduceByKey{case (x, y) => x + y}
      // Save the word count back out to a text file, causing evaluation.
      counts.saveAsTextFile(outputFile)
    }
}

我得到的错误:

Error: Could not find or load main class WordCount
xzlaal3s

xzlaal3s1#

您尚未设置master的属性。

val conf = new SparkConf().setAppName("wordCount").setMaster(local[*])
jgwigjjp

jgwigjjp2#

我想可能是类路径的问题,设置不正确。
如果您使用的是intellij,那么将该目录标记为源根目录就可以做到这一点。

相关问题