整个参数列表（对于hadoop-2.6）在链接中给出但您可以以mrv1或mrv2样式执行作业。我认为有些参数只适用于mrv1，比如 mapreduce.tasktracker.map.tasks.maximum ，这是真的吗？如果是，那么有没有更聪明的方法来计算所有这些参数？我们可以通过-dproperty=value或-d property=value传递所有参数吗？或者有任何参数我不能这样传递吗？
mapreduce.tasktracker.map.tasks.maximum
nr9pn0ug1#
在mr2中，Map任务的数量将由资源管理器根据分配给每个容器的内存动态计算。来自hortonworks在yarn和mapreduce2中，不再为map和reduce任务预先配置静态插槽。整个集群可用于Map的动态资源分配，并根据作业的需要进行缩减此页面已获得更多信息。检查thishttp://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/可以使用命令行中的-d property=value传递任何参数。这方面没有限制。但是如果这些属性是由开发人员在代码中设置的，那么命令行属性将被作业覆盖。
1条答案
按热度按时间nr9pn0ug1#
在mr2中，Map任务的数量将由资源管理器根据分配给每个容器的内存动态计算。
来自hortonworks
在yarn和mapreduce2中，不再为map和reduce任务预先配置静态插槽。整个集群可用于Map的动态资源分配，并根据作业的需要进行缩减
此页面已获得更多信息。检查thishttp://hortonworks.com/blog/how-to-plan-and-configure-yarn-in-hdp-2-0/
可以使用命令行中的-d property=value传递任何参数。这方面没有限制。但是如果这些属性是由开发人员在代码中设置的，那么命令行属性将被作业覆盖。