我们有4个datanode hdfs群集…每个数据节点上有大约98gb的大量可用空间…但是当我查看datanode信息时。。它只使用了大约10gb的空间。。。
我们如何才能使它使用所有的98gb,而不是用尽空间,如图所示
这是磁盘空间配置
这是名称节点上的hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/test/hadoop/hadoopinfra/hdfs/namenode</value>
</property>
这是数据节点下的hdfs-site.xml
<property>
<name>dfs.data.dir</name>
<value>/test/hadoop/hadoopinfra/hdfs/datanode</value>
</property>
eventhough/test有98gb,hdfs配置为使用它,而不是使用它
在进行配置更改时是否遗漏了任何内容?如何确保使用98gb?
1条答案
按热度按时间fruv7luv1#
根据hortonworks社区门户链接,修改数据节点目录的步骤如下:
停止群集。
转到ambari hdfs配置并编辑datanode目录配置:remove/hadoop/hdfs/data和/hadoop/hdfs/data1。添加
[new directory location]
.登录到每个datanode(通过ssh)并将/data和/data1的内容复制到新目录中。
将新目录及其下所有内容的所有权更改为“hdfs”。
启动群集。
我假设您在技术上已经达到了步骤2,因为您已经在最初的问题中显示了正确配置的core-site.xml文件。确保您已经完成了其他步骤,并且所有hadoop服务都已停止。从这里开始,将所有权更改为运行hadoop的用户(通常是hdfs,但我在root运行hadoop进程的地方工作过),您就可以开始了:)