如何使用spark\u submit将pyspark中的executors数限制为小于workers节点数

rdrgkggo  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(306)

我有32个节点的集群,每个集群有64 gb内存和16个内核。我希望在32个节点中总共有25个执行器,这样就可以使用25个工人。
预期执行者orsnumber:25, cores:5 and 内存:40gb
我已提交参数为:

--executor-memory 40g
 --driver-memory 200g
 --executor-cores 5
 --num-executors 25
 --conf spark.ui.port=54322
 --conf spark.driver.maxResultSize=0 
--conf spark.sql.autoBroadcastJoinThreshold=-1
 --conf spark.sql.shuffle.partitions=2000

在这里,每个worker中创建了32个具有5个内核和40gb的执行器。我如何限制遗嘱执行人少于工人人数?每个worker中的内存和内核是按预期获得的,但总执行者总是等于总worker。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题