我有一个关于动态资源分配的问题。我将spark 1.6.2与独立群集管理器一起使用。
我有一个工人有两个核心。我在所有节点的spark-defaults.conf文件中设置以下参数:
spark.dynamicAllocation.enabled true
spark.shuffle.service.enabled true
spark.deploy.defaultCores 1
我运行了一个包含许多任务的示例应用程序。我打开端口4040的驱动程序,我可以验证上述配置存在。
我的问题是,无论我做什么,我的应用程序只得到一个核心,即使另一个核心是可用的。
这是正常的还是我的配置有问题?
我想要得到的行为是:我有许多用户使用同一个spark集群。我希望每个应用程序将获得固定数量的核心,除非clutser的其余部分处于挂起状态。在这种情况下,我希望运行的应用程序将获得的核心总量,直到一个新的应用程序到达。。。
我一定要去梅索斯吗?
暂无答案!
目前还没有任何答案,快来回答吧!