hdfs+lsof+如何找到当前用于每个hdfs文件夹的文件

snz8szmq  于 2021-05-31  发布在  Hadoop
关注(0)|答案(0)|浏览(138)

我们正在努力找到当前正在使用的hdfs中每个文件夹上打开的文件。
所以我们尝试以下方法

hadoop fs -lsof /user/hdfs/.sparkStaging/application_1586272450810_3249

但这行不通。
为了计算文件夹下的文件

hdfs fsck /user/hdfs/.sparkStaging/application_1586272450810_3249 -files -blocks -locations -openforwrite | grep "Total files"

Total files:   29

但这只是文件夹下的总文件,而不是用于hdfs文件夹的已打开文件- /user/hdfs/.sparkStaging/application_1586272450810_3249 你知道怎么用这个吗 lsof 为了得到hdfs文件夹真正打开的文件?
注意:进行此测试的原因是要知道hdfs中哪些文件夹使用的文件最多,也许这样我们可以找到在hdfs上运行的进程占用最多内存资源的原因。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题