如何检查配置单元表中是否启用了zlib压缩?

avwztpqn  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(439)

我看到压缩属性在desc中设置为no。
如何创建表:
创建存储为orc tblproperty(“orc.compress”=“zlib”)的表temp(…)

xoshrz7s

xoshrz7s1#

你问题的答案是 describe formatted 声明。
当您使用以下语法启动此命令时

describe formatted <your table name>

您将在屏幕上看到一些输出,其中一部分如下所示。


# Detailed Table Information

Database:               default                  
Owner:                  edureka_268377           
CreateTime:             Thu Feb 22 04:56:05 UTC 2018     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://nameservice1/user/hive/warehouse/tests3   
Table Type:             MANAGED_TABLE            
Table Parameters:                
        orc.compress            ZLIB                
        transient_lastDdlTime   1519275365          

# Storage Information

SerDe Library:          org.apache.hadoop.hive.ql.io.orc.OrcSerde        
InputFormat:            org.apache.hadoop.hive.ql.io.orc.OrcInputFormat  
OutputFormat:           org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat         
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:             
        serialization.format    1

注意表格参数部分。它有一个属性叫做 orc.compress . 上面写着zlib。所以zlib是你的压缩编解码器。如果是急功近利或其他什么,它会被提到那里。如果为空,则压缩编解码器为zlib,默认为zlib!
希望有帮助!

thtygnil

thtygnil2#

您可以使用orcfiledump实用程序:

hive --orcfiledump hdfs://table_location

它将打印orc文件元数据、统计信息、压缩信息。
压缩信息如下所示:

Rows: 95
Compression: SNAPPY
Compression size: 262144

请参阅此处的手册:orc文件转储实用程序
还有配置单元命令 describe formatted table_name 打印表格参数 orc.compress 参数。

相关问题