我正在学习hadoop管理，但是我不知道如果我的作业花费的时间比它的平均时间长，如何开始调试，或者如果我的作业失败了，从哪里开始调试。我通常从资源管理器ui中的日志开始，但我想知道是否还有其他进程可以作为hadoop管理员进行调试。我正在寻找一种通用的方法来使用hortonworks-ambariwebui调试hadoop作业。
gpnt7bae1#
日志有助于防止作业失败。我假设你的工作很成功，但是很慢。开始调试运行缓慢的作业的最佳位置是查看作业计数器（一旦进入作业的mr app母版页，就可以在左侧面板上找到counters链接）。有关每个计数器的含义的详细信息，请参阅hadoop权威指南的第8章。
1条答案
按热度按时间gpnt7bae1#
日志有助于防止作业失败。我假设你的工作很成功，但是很慢。
开始调试运行缓慢的作业的最佳位置是查看作业计数器（一旦进入作业的mr app母版页，就可以在左侧面板上找到counters链接）。有关每个计数器的含义的详细信息，请参阅hadoop权威指南的第8章。