有没有什么方法或命令可以让我知道每个datanode的磁盘空间或集群的总磁盘空间?我试过命令
dfs -du -h /
但似乎我没有权限对许多目录执行它,因此无法获得实际的磁盘空间。
csga3l581#
从用户界面:http://namenode:50070/dfshealth.html#tab数据节点--->这将为您提供有关datanode的所有详细信息。从命令行:要获取每个数据节点的磁盘空间: sudo -u hdfs hdfs dfsadmin -report --->它将为您提供整个HDF和单个数据节点或 sudo -u hdfs hdfs dfs -du -h / --->这将为您提供根目录下每个文件夹的总磁盘使用率 / 目录
sudo -u hdfs hdfs dfsadmin -report
sudo -u hdfs hdfs dfs -du -h /
/
kq4fsx7k2#
您可以在namenodeui的datanodes选项卡中查看有关所有datanodes及其磁盘使用情况的信息。总的集群磁盘空间可以在主页的摘要部分看到。http://namenode-ip:50070
wh6knrhe3#
hadoop 3.2.0版本:
hduser@hadoop-node1:~$ hdfs dfs -df Filesystem Size Used Available Use% hdfs://hadoop-node1:54310 3000457228288 461352007680 821808787456 15% hduser@hadoop-node1:~$
对于人类可读的数字,请使用:
hduser@hadoop-node1:~$ hdfs dfs -df -h Filesystem Size Used Available Use% hdfs://hadoop-node1:54310 2.7 T 429.7 G 765.4 G 15% hduser@hadoop-node1:~$
pgvzfuti4#
如果您使用的是配置为简单安全的hadoop集群,那么可以执行下面的命令来获取数据节点的使用情况。
export HADOOP_USER_NAME=hdfs ;
hadoop dfsadmin -report
另一种选择是登录到相应的datanode并执行下面的unix命令以获取该服务器的磁盘利用率。
df -h
4条答案
按热度按时间csga3l581#
从用户界面:
http://namenode:50070/dfshealth.html#tab数据节点
--->这将为您提供有关datanode的所有详细信息。
从命令行:
要获取每个数据节点的磁盘空间:
sudo -u hdfs hdfs dfsadmin -report
--->它将为您提供整个HDF和单个数据节点或sudo -u hdfs hdfs dfs -du -h /
--->这将为您提供根目录下每个文件夹的总磁盘使用率/
目录kq4fsx7k2#
您可以在namenodeui的datanodes选项卡中查看有关所有datanodes及其磁盘使用情况的信息。总的集群磁盘空间可以在主页的摘要部分看到。
http://namenode-ip:50070
wh6knrhe3#
hadoop 3.2.0版本:
对于人类可读的数字,请使用:
pgvzfuti4#
如果您使用的是配置为简单安全的hadoop集群,那么可以执行下面的命令来获取数据节点的使用情况。
另一种选择是登录到相应的datanode并执行下面的unix命令以获取该服务器的磁盘利用率。