找出原始Parquet文件的大小?

cuxqih21  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(300)

有没有一种方法可以确定在snappy中压缩的Parquet地板文件的未压缩文件大小是多少?我在hdfs目录中有很多parquet文件,我试图找出如果数据未压缩,是否有方法计算文件大小。

holgip5t

holgip5t1#

你可以试着解压数据,看看它消耗了多少空间。看看如何用snappy解压hadoop reduce输出文件?
也许有一种更优雅的方式我不知道

相关问题