在独立的系统中激发动态资源分配

yjghlzjz  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(208)

我有一个关于动态资源分配的问题。我将spark 1.6.2与独立群集管理器一起使用。
我有一个工人有两个核心。我在所有节点的spark-defaults.conf文件中设置以下参数:

spark.dynamicAllocation.enabled  true
spark.shuffle.service.enabled true
spark.deploy.defaultCores 1

我运行了一个包含许多任务的示例应用程序。我打开端口4040的驱动程序,我可以验证上述配置存在。
我的问题是,无论我做什么,我的应用程序只得到一个核心,即使另一个核心是可用的。
这是正常的还是我的配置有问题?
我想要得到的行为是:我有许多用户使用同一个spark集群。我希望每个应用程序将获得固定数量的核心,除非clutser的其余部分处于挂起状态。在这种情况下,我希望运行的应用程序将获得的核心总量,直到一个新的应用程序到达。。。
我一定要去梅索斯吗?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题