我想在intellij idea(windows)中运行spark作业,在centos 7(虚拟机)上安装spark
以下是我在windows上运行spark的java代码:
import org.apache.log4j._
import org.apache.spark._
object RatingsCounter {
def main(args: Array[String]) {
Logger.getLogger("org").setLevel(Level.ERROR)
val sc = new SparkContext("local[*]", "RatingsCounter")
val lines = sc.textFile("D:\\.....\\......\\abc.data")
val ratings = lines.map(_.toString.split("\t")(2))
val results = ratings.countByValue()
val sortedResults = results.toSeq.sortBy(_._1)
sortedResults.foreach(println)
}
}
如果在centos虚拟机上安装了spark,如何在intellij中运行相同的代码。
附言:
Spark2.4.5
hadoop 2.7版
注意:我不想使用jar文件和spark提交。我已经这么做了。我想在intellij中运行它,只想在intellij中看到结果。
感谢您的帮助。
提前谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!