我使用的是intel（r）core（tm）2 duo处理器。我已经在伪分布式模式下安装了hadoop。我写了一个程序，需要50个Map节点。是否有可能在伪分布式模式下有50个Map器节点，或者我将被限制为4个节点（2*核心数）。我试过将“mapred.tasktracker.map.tasks.maximum”设置为50，但是并发性没有变化。
8ulbf1ek1#
map和reduce任务的最大数量取决于集群中任务跟踪器的数量以及使用属性定义的每个节点的map/reduce任务的最大数量 mapreduce.tasktracker.map.tasks.maximum 以及 mapreduce.tasktracker.reduce.tasks.maximum .我假设您的map reduce作业在默认块大小配置中需要50个map任务。作业所需的Map任务数取决于已处理数据的InputSplit数。当然，您不应该依赖于所需Map任务的数量，也不应该在程序中定义此限制。这将影响Map缩小作业的缩放。一个选项是将mapper任务的最大数量设置为50。可用Map器任务的数量应在job tracker web ui的“群集摘要”部分中可见。但是，由于处理器只有两个内核，您应该重新考虑，同时启动50个Map程序是否会对map reduce作业的性能产生任何积极影响。
mapreduce.tasktracker.map.tasks.maximum
mapreduce.tasktracker.reduce.tasks.maximum
1条答案
按热度按时间8ulbf1ek1#
map和reduce任务的最大数量取决于集群中任务跟踪器的数量以及使用属性定义的每个节点的map/reduce任务的最大数量
mapreduce.tasktracker.map.tasks.maximum以及mapreduce.tasktracker.reduce.tasks.maximum.我假设您的map reduce作业在默认块大小配置中需要50个map任务。作业所需的Map任务数取决于已处理数据的InputSplit数。当然，您不应该依赖于所需Map任务的数量，也不应该在程序中定义此限制。这将影响Map缩小作业的缩放。
一个选项是将mapper任务的最大数量设置为50。可用Map器任务的数量应在job tracker web ui的“群集摘要”部分中可见。但是，由于处理器只有两个内核，您应该重新考虑，同时启动50个Map程序是否会对map reduce作业的性能产生任何积极影响。