hadoop的基本理解

ctehm74n 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(342)

如何在hadoop中设置推测执行？我们需要在哪些配置文件中进行这些更改？请分步详细说明。
推测性执行更改应该在名称节点还是在数据节点中进行？如果在数据节点中，我们可以将它们设置为特定的系统，如（我的集群中的1-10个系统，我只为2,3个数据节点系统设置推测执行）

1条答案

在hadoop中，默认情况下会启用推测执行。
要启用/禁用推测执行，请在中修改这些属性 mapred-site.xml ```

mapreduce.map.speculative
true

mapreduce.reduce.speculative
true

这是一个集群范围的属性，也可以在作业级别设置。
如果在数据节点中，我们可以将它们设置为特定的系统吗
不，可以限制作业运行推测性任务，但不能限制节点。