ApacheSpark只使用机器上4个vcpu中8个核心中的一个

6kkfgxo0  于 2021-07-09  发布在  Spark
关注(0)|答案(0)|浏览(215)

我在aws fargate示例上启动apache spark worker,每个示例中有4个vcpu*2个内核:

processor : 0
model name : Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz
cpu MHz : 1604.990
physical id : 0
siblings : 4
core id : 0
cpu cores : 2

processor : 1
model name : Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz
cpu MHz : 1604.990
physical id : 0
siblings : 4
core id : 1
cpu cores : 2

processor : 2
model name : Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz
cpu MHz : 1604.990
physical id : 0
siblings : 4
core id : 0
cpu cores : 2

processor : 3
model name : Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz
cpu MHz : 1604.990
physical id : 0
siblings : 4
core id : 1
cpu cores : 2

但工人只从一个核心开始:

INFO Worker: Starting Spark worker <..IP..>:8881 with 1 cores, 28.9 GiB RAM

默认情况下,apachespark应该使用0.8*[核心数],对吗?
我的环境。独立模式下的apache spark 3.0.2。一个主人和许多工人在不同的机器上工作。所有运行在亚马逊ecs集群的docker容器中,fargate模式。
因为这是在docker容器内,所以我启动spark时是这样的:

bin/spark-class org.apache.spark.deploy.worker.Worker ${SPARK_MASTER_URL}

spark config或env vars中没有特定的spark cpu使用设置。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题