在spark submit命令中设置default.parallelism

tgabmvqs 于 2021-05-24 发布在 Spark

关注(0)|答案(1)|浏览(673)

在执行spark提交作业时，更改默认并行性的语法是什么？
在提交spark作业时，我可以通过以下命令指定执行器、执行器内核和执行器内存的数量：

spark-submit --num-executors 9 --executor-cores 5 --executor-memory 48g

指定 conf 文件是：

spark.conf.set("spark.default.parallelism",90)

如果我要在晚上换的话 spark-submit 命令，是吗

spark-submit --default.parallelism 90

apache-spark pyspark spark-submit

来源：https://stackoverflow.com/questions/64082075/setting-default-parallelism-in-spark-submit-command

1条答案

按热度按时间

qv7cva1a1#

根据spark文档，使用spark提交启动申请 spark-submit 命令具有以下语法：

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \
  [application-arguments]

在您的情况下，如果您想更改所提到的配置，您需要添加以下内容。

spark-submit [...] --conf spark.default.parallelism=90

赞(0）回复(0）举报 2021-05-25

我来回答

在spark submit命令中设置default.parallelism

1条答案

相关问题

热门标签

最新问答