我能确保新的hadoop任务将在inputfile中失败任务停止的位置恢复吗?

34gzjxbg  于 2021-05-29  发布在  Hadoop
关注(0)|答案(1)|浏览(273)

我正在运行hadoop2.7.2。
假设10个hadoop任务正在运行,每个任务处理1个hdfs输入文本文件。
假设其中一个任务失败,比如在读取hdfs输入文件file05的第566行时。
默认情况下会发生什么?hadoop的第二个任务尝试会在file05的第567行继续吗?或者第二个任务尝试将从file05的第一行开始?
根据用例的不同,我可能想从失败的处理结束的地方开始。或者,在另一种情况下,我可能希望重新开始处理该文件。
如何确保hadoop的第二次任务尝试将在file05的第567行恢复?
如何确保第二次任务尝试从file05的第一行开始?

wnvonmuf

wnvonmuf1#

如果任务失败,应用程序主机将重新尝试启动它。任务将重新启动。有一个参数表示允许重新尝试的次数。如果超过该值,则整个应用程序将被终止。

相关问题