hadoop中的默认哈希分区器将哪两个不同的键放在同一个缩减器中?

ycl3bljg  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(279)

我们都知道 Hadoop 保证相同的密钥来自不同的 mappers 将发送到相同的 reducer .
但是如果两个不同的键具有相同的散列值,它们肯定会指向相同的散列值 reducer ,那么他们会被送到同一个地方吗 reduce 方法有序?哪个部分负责这个逻辑?
谢谢!

idv4meu8

idv4meu81#

问题1: so will them be sent to the same reduce method orderly 答:是的
问题2: Which part is responsible for this logic ans:无序排序
例子:

key  value
 1       2
 1       2
 2       5
 3       19
 6       20

假设现在减速机的数量是5。

Reduce 0 will get key NO key-value pairs
Reduce 1 will get key 1,6 in same order 
Reduce 2 will get key 2
Reduce 3 will get key 3
Reduce 4 will get key NO key-value pairs

相关问题