在scala/java中，如何以编程方式获得hdfs中的dir\u count、file\u count、content\u size file\u name(不穿过外壳）
val fileStatus = fileSystem.getFileStatus(new Path(path))
val fileByteSize = fileStatus.getLen文件系统api似乎没有这些信息。我只能得到1个文件的文件大小（上面的代码）。但是我没有得到每个目录的文件计数和字节大小。
我正在寻找类似的行为：
hdfs dfs -count [-q] <paths>计算所提供路径下的目录、文件和字节数
1条答案
按热度按时间jpfvwuh41#
您可以使用filesystem.liststatus方法来获取有关给定hdfs目录中的文件和目录的信息。
可以使用返回的
FileStatus对象来计算总大小、文件计数等。