如何跳过hadoop流中失败的Map任务

mhd8tkvw 于 2021-06-03 发布在 Hadoop

关注(0)|答案(1)|浏览(455)

我正在运行一个hadoop流mapreduce作业，它总共有26895个map任务。然而，处理特定输入的任务总是失败的。所以我决定 mapreduce.map.failures.maxpercent=1 并想跳过失败的任务，但作业仍不成功。

Kind % Complete  Num Tasks  Pending Running Complete    Killed  Failed/Killed Task Attempts

map     100.00%   26895     0       0       26894       1       8 / 44

reduce  100.00%       1     0       0       0           1       0 / 1

我怎么能跳过这个？

hadoop mapreduce hadoop-streaming

来源：https://stackoverflow.com/questions/28731304/how-to-skip-failed-map-tasks-in-hadoop-streaming

1条答案

按热度按时间

xa9qqrwz1#

有一个相同的配置可用。在mapred-site.xml中指定mapred.max.map.failures.percent和mapred.max.reduce.failures.percent以指定失败阈值。两者都设置为0。
这些属性现在已弃用，请为此使用以下属性

mapreduce.map.failures.maxpercent
mapreduce.reduce.failures.maxpercent

赞(0）回复(0）举报 2021-06-03

我来回答

如何跳过hadoop流中失败的Map任务

1条答案

相关问题

热门标签

最新问答