如何从fsimage中找到文件名和文件大小?

kkbh8khc  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(461)

我试图找到文件,这是小于块大小的hdfs。
通过使用oiv,我将fsimage转换为带有如下分隔符的文本文件。 hdfs oiv_legacy -i /tmp/fsimage -o /tmp/fsimage_$RUNDATE/fsimage.txt -p Delimited -delimiter '@' 因为fsimage有很多数据。从这里可以找到hdfs中每个文件的文件名和文件大小。
有人能帮忙吗。
提前谢谢。。。。

xpcnnkqh

xpcnnkqh1#

请看一下本文档末尾的脚本。
起始时间:

A = LOAD '$inputFile' USING PigStorage('\t') AS (path:chararray,
                                                replication:int,
                                                modTime:chararray,
                                                accessTime:chararray,
                                                blockSize:long,
                                                numBlocks:int,
                                                fileSize:long,
                                                NamespaceQuota:int,
                                                DiskspaceQuota:int,
                                                perms:chararray,
                                                username:chararray,
                                                groupname:chararray);

-- Grab the pathname and filesize
B = FOREACH A generate path, fileSize;

-- Save results
STORE B INTO '$outputFile';
bakd9h0s

bakd9h0s2#

hadoop fs -find /tmp/fsimage size 64 -print

note:i am 如果它的cloudera,hortonworks。

相关问题