关闭。这个问题需要细节或清晰。它目前不接受答案。**想改进这个问题吗?**通过编辑这个帖子来添加细节并澄清问题。
6年前关门了。改进这个问题我知道reduce任务必须独立运行。但对于mapper来说,似乎有机会让mapper互相交流?如果是,请解释。
2nbm6dog1#
Map绘制者不互相交流。这样做是为了确保每个map任务的可靠性完全由运行该map任务的机器的可靠性控制。有关更好的理解,请参阅ydn教程的以下摘录:如果Map器和归约器具有单独的标识,并且彼此或外部世界通信,那么重新启动任务将需要其他节点与Map的新示例通信并归约任务,并且重新执行的任务将需要重新建立其中间状态。众所周知,在一般情况下,这个过程非常复杂,而且容易出错。mapreduce通过消除任务标识或任务分区之间通信的能力,大大简化了这个问题。单个任务只看到自己的直接输入,只知道自己的输出,以使此故障和重新启动过程干净可靠。p、 学生:我能问一下是什么让你有相反的想法吗?
1条答案
按热度按时间2nbm6dog1#
Map绘制者不互相交流。这样做是为了确保每个map任务的可靠性完全由运行该map任务的机器的可靠性控制。
有关更好的理解,请参阅ydn教程的以下摘录:
如果Map器和归约器具有单独的标识,并且彼此或外部世界通信,那么重新启动任务将需要其他节点与Map的新示例通信并归约任务,并且重新执行的任务将需要重新建立其中间状态。众所周知,在一般情况下,这个过程非常复杂,而且容易出错。mapreduce通过消除任务标识或任务分区之间通信的能力,大大简化了这个问题。单个任务只看到自己的直接输入,只知道自己的输出,以使此故障和重新启动过程干净可靠。
p、 学生:我能问一下是什么让你有相反的想法吗?