我在aws fargate示例上启动apache spark worker,每个示例中有4个vcpu*2个内核:
processor : 0
model name : Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz
cpu MHz : 1604.990
physical id : 0
siblings : 4
core id : 0
cpu cores : 2
processor : 1
model name : Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz
cpu MHz : 1604.990
physical id : 0
siblings : 4
core id : 1
cpu cores : 2
processor : 2
model name : Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz
cpu MHz : 1604.990
physical id : 0
siblings : 4
core id : 0
cpu cores : 2
processor : 3
model name : Intel(R) Xeon(R) CPU E5-2686 v4 @ 2.30GHz
cpu MHz : 1604.990
physical id : 0
siblings : 4
core id : 1
cpu cores : 2
但工人只从一个核心开始:
INFO Worker: Starting Spark worker <..IP..>:8881 with 1 cores, 28.9 GiB RAM
默认情况下,apachespark应该使用0.8*[核心数],对吗?
我的环境。独立模式下的apache spark 3.0.2。一个主人和许多工人在不同的机器上工作。所有运行在亚马逊ecs集群的docker容器中,fargate模式。
因为这是在docker容器内,所以我启动spark时是这样的:
bin/spark-class org.apache.spark.deploy.worker.Worker ${SPARK_MASTER_URL}
spark config或env vars中没有特定的spark cpu使用设置。
暂无答案!
目前还没有任何答案,快来回答吧!