hawq表大小估计

pepwfjgg  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(381)

对于要加载到hawq中的表,我有一个关于存储大小计算/估计的问题?
我在hive中有一个30mb的表,我正在尝试使用pxf将其加载到hawq中,例如:create table t2 tablespace data as select*from hcatalog.default.afs\u trvn\u mktscn\u population;
hawq中的表占用369mb的存储空间?不管我有多少hawq段,hawq dfs.replica factor或hdfs replication factor是什么?我的情况下,即使有4个hawq段或1个hawq段的表大小加载后来我们的是369mb。
我可以理解最小块大小是128mb,所以即使是30mb也会使用最小128mb,但是为什么>300mb呢?
你能分享一些关于这个的信息吗?

ipakzgxi

ipakzgxi1#

您的配置单元表可能存储为orc,压缩很快,而hawq表甚至没有压缩。您应该在hawq表中使用:

with (appendonly=true, orientation=parquet, compresstype=snappy)

相关问题