我想限制在一个从属节点上同时运行的Map任务的数量。在我的例子中，当我提交作业时，hadoop生成了8个map任务，当我查看端口19888的作业历史ui时，我总是看到8个map任务在同一个从节点上同时启动。甚至我也试着设置这个属性 mapreduce.tasktracker.map.tasks.maximum 等于4（从如何限制并发运行的map任务？）。对我来说还是不行。有人做过处理这个问题的实验吗？
mapreduce.tasktracker.map.tasks.maximum
hkmswyz61#
对于Hadoop2.6，它应该是较新的api—请参阅mapred-default.xml套 mapreduce.tasktracker.map.tasks.maximum 到4任务跟踪器将同时运行的最大Map任务数。
1条答案
按热度按时间hkmswyz61#
对于Hadoop2.6，它应该是较新的api—请参阅mapred-default.xml
套
mapreduce.tasktracker.map.tasks.maximum到4任务跟踪器将同时运行的最大Map任务数。