dmlxxgboost作业在随后提交时处于“接受”状态

w1jd8yoj  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(304)

我在aws中有一个3节点集群(1个主节点和2个从节点)
配置:
主机(8 vcpu,16 gb)
从属1(4个vcpu,8 gb)
从属1(4个vcpu,8 gb)
当我提交dmlcxgboost作业以使其按预期运行时,如果我在5分钟内再次提交相同的作业,它将被卡住。如果作业提交在连续6分钟左右,它的工作完全正常。
我试着查了一下卡住的原因,上面写着下面这样的话
[sun jun 09:03:53+0000 2019]应用程序已添加到计划程序,尚未激活。已超出队列am资源限制。详细信息:am分区=;am资源请求=;am=的队列资源限制;队列的用户am资源限制=;队列am资源使用率=;
看了网上所有的线后,他试图修改Yarn参数,但还没有得到任何运气。
下面是我目前使用的配置。
capacity-scheduler.xml文件
Yarn.调度器.容量.最大应用:10000
yarn.scheduler.capacity.maximum-am-resource-percent:0.9
yarn.scheduler.capacity.resource-calculator:org.apache.hadoop.yarn.util.resource.defaultresourcecalculator
yarn.scheduler.capacity.root.queues:默认值
yarn-site.xml文件
yarn.acl.enable:0
yarn.resourcemanager.hostname:节点主节点
yarn.nodemanager.aux-services:mapreduce\u shuffle
yarn.nodemanager.resource.memory-mb:4608
yarn.scheduler.maximum-allocation-mb:4608
yarn.scheduler.minimum-allocation-mb:1536
yarn.nodemanager.vmem-check-enabled:假
yarn.app.mapreduce.am.resource.mb:3072
mapred-site.xml文件
mapreduce.framework.name:Yarn
yarn.app.mapreduce.am.resource.mb:1536个
mapreduce.map.memory.mb:1536
mapreduce.reduce.memory.mb:3072
任何帮助都将不胜感激。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题