我试图在一个Yarn集群上执行我的代码
我使用的命令是
$SPARK_HOME/bin/spark-submit \
--class "MyApp" \
target/scala-2.10/my-application_2.10-1.0.jar \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 6g \
--executor-memory 7g \
<outputPath>但是，我可以看到这个程序只在本地主机上运行。
它能够从hdfs读取文件。
我在独立模式下尝试过，效果很好。
请说明哪里出了问题。
1条答案
按热度按时间sxpgvts31#
我正在使用hadoop2.4和spark1.1.0。我可以让它在集群模式下运行。
为了解决这个问题，我们只需删除所有从节点的所有配置文件。早些时候，我们是在独立模式下运行的，这会导致在所有从机上复制配置。一旦完成，它就按预期在集群模式下运行。尽管性能不符合独立模式。
谢谢。