在hadoop中，使用nMap器和n reduce，或者nMap器和1 reduce有什么区别。在使用1 reduce的情况下，reduce阶段由哪台计算机（mappers）组成，如果我有3台计算机
gt0wga4j1#
Map器的数量由正在处理的数据量控制。减速器由开发人员或不同的系统参数控制。要覆盖缩减器的数量，请设置mapreduce.job.reduces=#；或者，如果它是一个配置单元作业，并且您希望控制每个reducer要做的更多工作，则可以调整某些参数，例如：hive.exec.reducers.bytes.per.reducer。您仍然可以通过使用mapreduce.job.reduces进行覆盖它只是使用每个reducer的字节数来控制每个reducer处理的数量。关于控制减速器运行的位置，除了使用节点标签之外，您确实无法控制它。这意味着控制作业中所有任务的运行位置，而不仅仅是减速机。
1条答案
按热度按时间gt0wga4j1#
Map器的数量由正在处理的数据量控制。减速器由开发人员或不同的系统参数控制。
要覆盖缩减器的数量，请设置mapreduce.job.reduces=#；
或者，如果它是一个配置单元作业，并且您希望控制每个reducer要做的更多工作，则可以调整某些参数，例如：hive.exec.reducers.bytes.per.reducer。
您仍然可以通过使用mapreduce.job.reduces进行覆盖它只是使用每个reducer的字节数来控制每个reducer处理的数量。
关于控制减速器运行的位置，除了使用节点标签之外，您确实无法控制它。这意味着控制作业中所有任务的运行位置，而不仅仅是减速机。