大师必须从Yarn，Spark开始

46scxncf 于 2021-05-29 发布在 Hadoop

关注(0)|答案(2)|浏览(383)

当我想运行sparkpi示例时，我遇到了这个错误。

beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class org.apache.spark.examples.SparkPi /home/beyhan/spark-1.2.0-bin-hadoop2.4/lib/spark-examples-1.jar
        Spark assembly has been built with Hive, including Datanucleus jars on classpath
        Error: Master must start with yarn, spark, mesos, or local
        Run with --help for usage help or --verbose for debug output
        Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

我已经通过另一个终端启动了我的主程序

>./sbin/start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /home/beyhan/spark-1.2.0-bin-hadoop2.4/sbin/../logs/spark-beyhan-org.apache.spark.deploy.master.Master-1-beyhan.out

有什么建议吗？谢谢。

hadoop scala apache-spark sbt

来源：https://stackoverflow.com/questions/33150147/master-must-start-with-yarn-spark

2条答案

按热度按时间

but5z9lq1#

下载并提取spark：

$ cd ~/Downloads
$ wget -c http://archive.apache.org/dist/spark/spark-1.2.0/spark-1.2.0-bin-hadoop2.4.tgz
$ cd /tmp
$ tar zxf ~/Downloads/spark-1.2.0-bin-hadoop2.4.tgz
$ cd spark-1.2.0-bin-hadoop2.4/

启动主机：

$ sbin/start-master.sh

从上面命令打印的文件中的日志中查找主机的url。假设master是： spark://ego-server:7077 在这种情况下，您还可以通过访问以下url找到主url：http://localhost:8080/
启动一个从机，并将其连接到主机：

$ sbin/start-slave.sh --master spark://ego-server:7077

另一种确保主机启动并运行的方法是启动绑定到该主机的shell：

$ bin/spark-submit --master "spark://ego-server:7077"

如果你有一个Spark壳，那么一切似乎都很好。
现在执行作业：

$ find . -name "spark-example*jar"
./lib/spark-examples-1.2.0-hadoop2.4.0.jar

$ bin/spark-submit --master "spark://ego-server:7077" --class org.apache.spark.examples.SparkPi ./lib/spark-examples-1.2.0-hadoop2.4.0.jar

赞(0）回复(0）举报 2021-05-30

ars1skjm2#

你得到的错误
错误：主控必须从Yarn、Spark、mesos或本地开始
意思是 --master ego-client Spark无法识别。
使用

--master local

对于Spark或

--master spark://your-spark-master-ip:7077

赞(0）回复(0）举报 2021-05-30

我来回答

大师必须从Yarn，Spark开始

2条答案

相关问题

热门标签

最新问答