我在google云平台上创建了一个集群,它有五个基于linux的虚拟机(vm):一个主机和4个工作机。我跑了 ./start-master.sh
在主虚拟机和 ./start-worker.sh [external-master-IP:7077]
在worker vms上。
现在我只想使用./bin/spark submit运行一个graphx示例作业,例如已经在spark中的pagerank算法。
我知道,我读过文档,上面写着这样运行:
./bin/spark-submit \
--class <main-class> \
--master <master-url> \
--deploy-mode <deploy-mode> \
--conf <key>=<value> \
... # other options
<application-jar> \
[application-arguments]
我试过这个:
./bin/spark-submit \
--class org.apache.spark.examples.graphx.PageRankExample \
--master spark://<external-IP>:7077 \
--deploy-mode cluster
上面写着:
“错误:缺少应用程序资源。”
我需要添加一个.jar吗?对于这个pagerank示例,我找不到它。
谢谢您。
1条答案
按热度按时间bakd9h0s1#
是的,您需要在spark submit命令中添加jar:
你应该在房间里找到它
examples/jars
Spark装置下的文件夹。这个jar被命名为spark-examples_*.jar
: