我的mapreduce程序中有system.out.printlns;先生跑得很成功,但我到处都看不到日志。我试过了 "yarn log -applicationId ..." ,但我还是看不到我的日志。是否需要任何特殊设置来启用日志?如果没有,日志文件的位置是什么?
"yarn log -applicationId ..."
z2acfund1#
如果您已经配置了日志聚合,那么您将在中找到您的日志 /tmp/logs 在hdfs上。此hdfs目录是使用属性设置的 yarn.nodemanager.remote-app-log-dir (默认值为/tmp/logs)。因此,您应该能够使用以下命令在namenode上查看用户的应用程序日志目录:
/tmp/logs
yarn.nodemanager.remote-app-log-dir
hdfs dfs -ls /tmp/logs
tvz2xvvm2#
当您在前几行运行作业时,它将为您提供跟踪作业的链接。您可以将该链接粘贴到浏览器中,并浏览任务级日志以查看详细信息。在map reduce中使用system.out.println不是好的做法。
6ioyuze23#
端口8088显示集群上的所有mr作业。单击mr作业并单击跟踪历史记录。
3条答案
按热度按时间z2acfund1#
如果您已经配置了日志聚合,那么您将在中找到您的日志
/tmp/logs
在hdfs上。此hdfs目录是使用属性设置的yarn.nodemanager.remote-app-log-dir
(默认值为/tmp/logs)。因此,您应该能够使用以下命令在namenode上查看用户的应用程序日志目录:
tvz2xvvm2#
当您在前几行运行作业时,它将为您提供跟踪作业的链接。您可以将该链接粘贴到浏览器中,并浏览任务级日志以查看详细信息。
在map reduce中使用system.out.println不是好的做法。
6ioyuze23#
端口8088显示集群上的所有mr作业。单击mr作业并单击跟踪历史记录。