hadoop:重新启动失败的Map

ttcibm8c  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(232)

我正在测试map reduce的容错性。我发现如果我停止其中一个任务节点的网络服务,分配给这个节点的任务将被重新分配给其他节点。那很好。
但是,如果Map程序抛出异常(例如:error access some local resource),mr作业将完成,而不会将失败的任务重新分配给其他节点。
有没有办法让hadoop将失败的任务重新分配给其他节点?可能抛出一些特定的异常?
谢谢。

vof42yt1

vof42yt11#

任务从哪个方法引发异常?
在这种情况下,如果从taskumbilicalprotocol.done()方法引发异常,可以尝试另一种方法。
您可以尝试重写taskumbilicalprotocol.fatalerror()方法以引发异常。

相关问题