hadoop执行map、shuffle/sort和reduce阶段。我想知道每个阶段的持续时间。我是说，要花多长时间？我查了很多文件，但找不到任何明确的解决办法。例如，为了使用hadoop profiler，我设置了configure文件并启用了profiler。但不会生成结果文件“java.hprof.txt”。此外，我不确定结果文件是否包含我想要的信息。你能帮助我吗？
pgky5nke1#
您可以在jobtracker的job history日志中找到所有这些信息，该日志位于其webui中。它与作业运行时看到的ui不同。在那里，您将分别找到每个阶段的时间。
km0tfn4u2#
跟踪作业进度的一种方法是查看hadoop提供的webui。默认情况下，它在 http://server-adress:50030/jobtracker.jsp .在那里您可以找到有关任务运行时、任务进度、查看日志和许多其他有用工具的信息。
http://server-adress:50030/jobtracker.jsp
2条答案
按热度按时间pgky5nke1#
您可以在jobtracker的job history日志中找到所有这些信息，该日志位于其webui中。它与作业运行时看到的ui不同。在那里，您将分别找到每个阶段的时间。
km0tfn4u2#
跟踪作业进度的一种方法是查看hadoop提供的webui。默认情况下，它在
http://server-adress:50030/jobtracker.jsp.在那里您可以找到有关任务运行时、任务进度、查看日志和许多其他有用工具的信息。