cloudera安装dfs.datanode.max.locked.lxc内存问题

bpzcxfmw  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(469)

我已经在我的mac机器上创建了虚拟盒ubuntu14.04lts环境。在ubuntu的virtualbox中,我创建了由三个lxc容器组成的集群。一个用于主节点,另两个用于从节点。
在master上,我使用以下链接开始安装cdh5http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
我还对/etc/hosts进行了必要的更改,包括fqdn和主机名。还创建了名为“ubuntu”的无密码用户。
在安装cdh5的过程中,我经常在datanodes上遇到以下错误。最大锁定内存大小:dfs.datanode.max.locked.memory为922746880字节,大于datanode的可用rlimit\u memlock ulimit为65536字节。

Exception in secureMain: java.lang.RuntimeException: Cannot start datanode because the configured max locked memory size (dfs.datanode.max.locked.memory) of 922746880 bytes is more than the datanode's available RLIMIT_MEMLOCK ulimit of 65536 bytes.
at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1050)
at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:411)
at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2297)
at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2184)
at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2231)
at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2407)
at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2431)
o4hqfura

o4hqfura1#

克鲁纳尔,
这个解决方案可能会晚到你,但也许它可以帮助别人,所以在这里。确保ulimit设置正确。但万一是配置问题。
转到:

/run/cloudera-scm-agent/process/

查找最新的配置目录,在本例中:

1016-hdfs-DATANODE

在此目录中搜索参数:

grep -rnw . -e "dfs.datanode.max.locked.memory"
./hdfs-site.xml:163:    <name>dfs.datanode.max.locked.memory</name>

并将值编辑为他在您的案例中期望的值(65536)

eanckbw9

eanckbw92#

我通过在cloudera中打开一个单独的选项卡并在那里设置值来解决这个问题

相关问题