如何查看hadoop作业执行期间打印的内容

aoyhnmkz  于 2021-06-02  发布在  Hadoop
关注(0)|答案(2)|浏览(330)

我正在hortonworks virtualbox中运行mapreduce作业。in方法 Map() ,我用 System.out.println("xx") 但我找不到印刷体。
从如何在hadoop中mapreduce作业执行期间在控制台上打印,我知道我可以在jobtracker web控制台中找到日志。
但我不知道在哪里可以找到jobtracker网络控制台。
我怎么能这么做?

ffvjumwh

ffvjumwh1#

谢谢莫宾回答我的问题,让我补充一个问题的答案。除了mobin给出的解决方案外,我还找到了另一种方法来检查hadoop作业的日志。命令: yarn logs -applicationId {applicationId} 可以显示应用程序历史服务器中保存的hadoop作业的日志,包括stderr、stdout和syslog。system.out.println()语句打印的内容保存在stdout中。

qcbq4gxm

qcbq4gxm2#

这是四年前的主题。jobtracker和tasktracker(mrv1)已经转换为applicationmaster和resourcemanager(mrv2:yarn)。您可以在以下位置的resourcemanager web ui中查看作业状态: http://localhost:8088/ .
输出(来自reporter或println)通常会打印在historyserver的任务日志中,该日志可通过以下url获得: http://localhost:19888/jobhistory/job/job_x ps:如果您使用旧版本的hadoop,您的输出将通过jobtracker web ui提供: http://localhost:50030/jobtracker.jsp (单击已完成的作业->单击map或reduce task->单击tasknumber->task logs->stdout logs。)

相关问题