tez上的hive如何确定减缩数?

jobtbby3  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(324)

如何确定减速器的数量?这似乎和where子句有关。我使用的sql如下:
没有任何 predicate

SELELT ip, port, count(1) AS cnt
FROM tb_ipaddr
GROUP BY ip, port;

这项工作有252个减速器。
带一个 predicate

SELECT ip, port, count(1) AS cnt
FROM tb_ipaddr
WHERE port IS NOT NULL
GROUP BY ip, port;

这项工作有84个减速器。
再加上一个 predicate ,这个作业将有24个reducer。
为什么每加一个 predicate ,还原数就变成三分之一?
平台版本为:Hive2.3.7和Tez0.9.2

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题