用hadoop2.7.4配置yarn资源问题

643ylb08  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(288)

我已经按照本教程配置了hadoop2.7.4。datanode、namenode和secondarynamenode工作正常。
但是,当我运行Yarn,nodemanager下去与以下信息
org.apache.hadoop.yarn.exceptions.yarnruntimeexception:org.apache.hadoop.yarn.exceptions.yarnruntimeexception:收到resourcemanager的关闭信号,nodemanager注册失败,resourcemanager消息:localhost的nodemanager不满足最小分配,向nodemanager发送关闭信号。
我的系统有8cpu和8gbram。如何配置这些资源?我发现了很多这样的问题,但找不到任何解决问题的办法。

bxjv4tth

bxjv4tth1#

我在一个课程中也遇到了同样的问题。我们使用的是两个核心的amazon虚拟机。
经过各种修改后 yarn-site.xml ,我们让nodemanager运行设置以下属性

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
</property>

在您的情况下,可能需要建立8个虚拟核心。

相关问题