hadoop:hdfs集群空间不足,即使空间可用

puruo6ea  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(791)

我们有4个datanode hdfs群集…每个数据节点上有大约98gb的大量可用空间…但是当我查看datanode信息时。。它只使用了大约10gb的空间。。。

我们如何才能使它使用所有的98gb,而不是用尽空间,如图所示
这是磁盘空间配置

这是名称节点上的hdfs-site.xml

<property>
        <name>dfs.name.dir</name>
        <value>/test/hadoop/hadoopinfra/hdfs/namenode</value>
 </property>

这是数据节点下的hdfs-site.xml

<property>
        <name>dfs.data.dir</name>
        <value>/test/hadoop/hadoopinfra/hdfs/datanode</value>
 </property>

eventhough/test有98gb,hdfs配置为使用它,而不是使用它
在进行配置更改时是否遗漏了任何内容?如何确保使用98gb?

fruv7luv

fruv7luv1#

根据hortonworks社区门户链接,修改数据节点目录的步骤如下:
停止群集。
转到ambari hdfs配置并编辑datanode目录配置:remove/hadoop/hdfs/data和/hadoop/hdfs/data1。添加 [new directory location] .
登录到每个datanode(通过ssh)并将/data和/data1的内容复制到新目录中。
将新目录及其下所有内容的所有权更改为“hdfs”。
启动群集。
我假设您在技术上已经达到了步骤2,因为您已经在最初的问题中显示了正确配置的core-site.xml文件。确保您已经完成了其他步骤,并且所有hadoop服务都已停止。从这里开始,将所有权更改为运行hadoop的用户(通常是hdfs,但我在root运行hadoop进程的地方工作过),您就可以开始了:)

相关问题