我很困惑，在无序排列和排序阶段，使用mMap器和r还原器的工作最多涉及mr复制操作。哪种情况下复制操作会达到最大值m*r？有人能举例说明吗？
5fjcxozz1#
假设您有3个Map器和1个还原器。每个Map器任务输出一个文件（按键排序），该文件被写入Map器所在的本地文件系统 map 函数从运行。因此，我们将有3个这样的输出文件分布在集群中。因为reducer没有利用数据位置优化，而且我们只有一个reducer，所以它需要复制每个mapper任务通过网络生成的3个不同的输出文件。因此，有 m x n = 3 x 1 = 3 此场景中涉及的复制操作。
map
m x n = 3 x 1 = 3
1条答案
按热度按时间5fjcxozz1#
假设您有3个Map器和1个还原器。每个Map器任务输出一个文件（按键排序），该文件被写入Map器所在的本地文件系统
map函数从运行。因此，我们将有3个这样的输出文件分布在集群中。因为reducer没有利用数据位置优化，而且我们只有一个reducer，所以它需要复制每个mapper任务通过网络生成的3个不同的输出文件。
因此，有
m x n = 3 x 1 = 3此场景中涉及的复制操作。