知道hadoop中数据节点的磁盘空间吗?

kgqe7b3p  于 2021-05-29  发布在  Hadoop
关注(0)|答案(4)|浏览(468)

有没有什么方法或命令可以让我知道每个datanode的磁盘空间或集群的总磁盘空间?
我试过命令

dfs -du -h /

但似乎我没有权限对许多目录执行它,因此无法获得实际的磁盘空间。

csga3l58

csga3l581#

从用户界面:
http://namenode:50070/dfshealth.html#tab数据节点
--->这将为您提供有关datanode的所有详细信息。
从命令行:
要获取每个数据节点的磁盘空间: sudo -u hdfs hdfs dfsadmin -report --->它将为您提供整个HDF和单个数据节点或 sudo -u hdfs hdfs dfs -du -h / --->这将为您提供根目录下每个文件夹的总磁盘使用率 / 目录

kq4fsx7k

kq4fsx7k2#

您可以在namenodeui的datanodes选项卡中查看有关所有datanodes及其磁盘使用情况的信息。总的集群磁盘空间可以在主页的摘要部分看到。
http://namenode-ip:50070

wh6knrhe

wh6knrhe3#

hadoop 3.2.0版本:

hduser@hadoop-node1:~$ hdfs dfs -df
Filesystem                          Size          Used     Available  Use%
hdfs://hadoop-node1:54310  3000457228288  461352007680  821808787456   15%
hduser@hadoop-node1:~$

对于人类可读的数字,请使用:

hduser@hadoop-node1:~$ hdfs dfs -df -h
Filesystem                  Size     Used  Available  Use%
hdfs://hadoop-node1:54310  2.7 T  429.7 G    765.4 G   15%
hduser@hadoop-node1:~$
pgvzfuti

pgvzfuti4#

如果您使用的是配置为简单安全的hadoop集群,那么可以执行下面的命令来获取数据节点的使用情况。

export HADOOP_USER_NAME=hdfs ;
  • 上面的命令可用于在简单安全中获取管理权限,如果您使用任何其他用户进行hdfs admin,请用相应的hdfs admin用户替换hdfs。
hadoop dfsadmin -report

另一种选择是登录到相应的datanode并执行下面的unix命令以获取该服务器的磁盘利用率。

df -h

相关问题