hadoop作业的实际处理时间

5tmbdcev  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(269)

我的群集当前被一个作业占用 A 这需要很长时间而且优先级很低。
我开始了另一份工作 B 昨天 A 我想它应该跑得很快。然而,我看到在工作细节上花了47分钟。我不认为这是实际的处理时间。我想知道这项工作是什么时候开始的。我可以去哪里?

gwo2fgha

gwo2fgha1#

我似乎找不到任何地方确切说明你在追求什么,但你可以在港口50030作业跟踪器的工作,看看个人的Map和详细资料。在那里,您可以看到每个Map器和缩减器从开始和结束时间到完成任务所花费的时间。
如果在开始第二个作业时没有任何Map器或还原器可用,那么在第一个作业释放它们之前,第二个作业将无法取得任何进展,这可能解释了为什么它声称需要花费这么长时间,因为它们可能实际上没有同时运行。作业开始的时间和第一个实际的Map程序开始的时间应该可以指示它是否只是在等待资源,这意味着您可以从总的47分钟中扣除作业和Map程序开始时间之间的时间段。

相关问题