raspberry pi 3 spark cluster:warn taskschedulerimpl:初始作业未接受任何资源

wi3ka0sx  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(299)

我成功地在3节点集群上安装了hadoop,并且能够在集群上运行map reduce程序。我想比较map reduce和spark的性能,所以我安装了spark。我想比较一下在map reduce上运行的wordcount程序和在spark上运行的wordcount程序。
我遵循了以下教程:http://bailiwick.io/2015/07/07/create-your-own-apache-spark-cluster-using-raspberry-pi-2/
我将其中一个raspberry pi节点配置为主节点,另两个配置为从节点。
spark-env.sh(在所有节点上相同)

从属(在所有节点上相同)

这是我在scala上运行的代码:

/opt/spark/bin/spark-shell --master spark://node1:7077

val changeFile = sc.textFile("/opt/spark/mediumfile.txt")
val changeFileLower = changeFile.map(_.toLowerCase)
val changeFlatMap = changeFileLower.flatMap("[a-z]+".r findAllIn _)
val changeMR = changeFlatMap.map(word => (word,1)).reduceByKey(_ + _)
changeMR.take(10)

当控制台执行最后一行代码时,会显示以下错误:warn taskschedulerimpl:initial job has not accepted any resources;检查集群ui以确保worker已注册并且具有足够的资源
我试图增加spark-env.sh文件中的工作内存,或者包括内核的数量,但是没有任何效果。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题