yarn-spark并行作业

5jdjgkvh 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(328)

我做了一个只有一个工作节点的Yarn簇，提交spark申请工作时，看起来效果不错。当我提交多个作业时，作业在hadoop队列上，并逐个处理提交的应用程序。我想并行处理我的申请，而不是一个接一个。这个有什么配置吗？或者不能在Yarn上这样做？

1条答案

默认情况下，yarn逐个提交作业。对于提交多个作业，您可以更改executor核心的数量：

spark-submit class /jar --executor-memory 2g --num-executors 15 --executor-cores 3 --master yarn --deploy-mode cluster

也可以在yarn-site.xml中更改此属性