未自动触发hive压缩-hdpèu 2.6.5

epggiuax 于 2021-05-27 发布在 Hadoop

关注(0)|答案(1)|浏览(407)

我在hive中创建了一个表来测试压缩性，

CREATE TABLE part_test(id int, name string, city string) PARTITIONED BY (dept string)  clustered by (city) into 5 buckets stored as orc TBLPROPERTIES('transactional'='true');

在屏幕截图中，我们可以看到创建了许多delta目录（大约12个文件）。
压缩是自动启动的，但它没有运行或正在压缩增量目录。下面是我们在配置单元中设置的属性。

set hive.compactor.initiator.on=true;
set hive.compactor.worker.threads=1;
set hive.compactor.delta.pct.threshold=0.1f;
set hive.compactor.delta.num.threshold=10;
set hive.exec.dynamic.partition=true;  
set hive.exec.dynamic.partition.mode=nonstrict; 
set hive.enforce.bucketing=true;

在屏幕截图2中，我们可以看到压缩状态已启动，但超过一天未执行。我们如何使压实工作？我们还需要设置其他属性吗？