如何确定减速器的数量?这似乎和where子句有关。我使用的sql如下:
没有任何 predicate
SELELT ip, port, count(1) AS cnt
FROM tb_ipaddr
GROUP BY ip, port;
这项工作有252个减速器。
带一个 predicate
SELECT ip, port, count(1) AS cnt
FROM tb_ipaddr
WHERE port IS NOT NULL
GROUP BY ip, port;
这项工作有84个减速器。
再加上一个 predicate ,这个作业将有24个reducer。
为什么每加一个 predicate ,还原数就变成三分之一?
平台版本为:Hive2.3.7和Tez0.9.2
暂无答案!
目前还没有任何答案,快来回答吧!