在阅读有关mapreduce的文章时，我读到了以下有趣的几行：但是reducer如何知道要查询哪些节点来获取它们的分区呢？这是通过应用程序主机实现的。当每个Map器示例完成时，它会通知应用程序主程序它在运行期间生成的分区。每个reducer都会定期向应用程序主机查询Map器主机，直到收到承载其分区的节点的最终列表。”我有个疑问。当他们说每个减速机的时候，它到底是什么意思？在map阶段开始之前是否分配了reducer，以及如何选择reducer节点？
u91tlkcl1#
还原程序可以在Map完成数据处理之前启动。一旦开始，他们就可以从Map器机器中提取数据，但只有在所有Map器处理完数据之后，他们才会开始处理。mapred.reduce.slowstart.completed.maps是配置此行为的属性。更多关于这里房产的信息。
1条答案
按热度按时间u91tlkcl1#
还原程序可以在Map完成数据处理之前启动。一旦开始，他们就可以从Map器机器中提取数据，但只有在所有Map器处理完数据之后，他们才会开始处理。
mapred.reduce.slowstart.completed.maps是配置此行为的属性。更多关于这里房产的信息。