我正在运行hadoop2.7.2。
假设10个hadoop任务正在运行,每个任务处理1个hdfs输入文本文件。
假设其中一个任务失败,比如在读取hdfs输入文件file05的第566行时。
默认情况下会发生什么?hadoop的第二个任务尝试会在file05的第567行继续吗?或者第二个任务尝试将从file05的第一行开始?
根据用例的不同,我可能想从失败的处理结束的地方开始。或者,在另一种情况下,我可能希望重新开始处理该文件。
如何确保hadoop的第二次任务尝试将在file05的第567行恢复?
如何确保第二次任务尝试从file05的第一行开始?
1条答案
按热度按时间wnvonmuf1#
如果任务失败,应用程序主机将重新尝试启动它。任务将重新启动。有一个参数表示允许重新尝试的次数。如果超过该值,则整个应用程序将被终止。