我有一个要求,写Yarn应用程序日志从电子病历以外的其他来源,而不是s3。。你能告诉我应用程序日志在emr主示例中保存在哪里吗
busg9geu1#
Yarn原木在 /var/log/hadoop-yarn/ ,Yarn容器原木在 /var/log/hadoop-yarn/container ####链接:https://docs.aws.amazon.com/emr/latest/managementguide/emr-plan-debugging.htmlhttps://docs.aws.amazon.com/emr/latest/managementguide/emr-manage-view-web-log-files.html
/var/log/hadoop-yarn/
/var/log/hadoop-yarn/container
ddrv8njm2#
如果申请作为一个步骤提交给emr,那么日志将驻留在:
/var/log/hadoop/steps/<<step-id>>/<<log-file>>
emr的大多数日志都可以在 /var/logs 主节点中的目录您还可以使用yarn cli获取应用程序日志,并将返回的日志流重定向到一个文件中,以执行任何您想要的操作。
/var/logs
yarn logs -applicationId <<application_id>> > application_log_file.log
2条答案
按热度按时间busg9geu1#
Yarn原木在
/var/log/hadoop-yarn/
,Yarn容器原木在/var/log/hadoop-yarn/container
####链接:https://docs.aws.amazon.com/emr/latest/managementguide/emr-plan-debugging.html
https://docs.aws.amazon.com/emr/latest/managementguide/emr-manage-view-web-log-files.html
ddrv8njm2#
如果申请作为一个步骤提交给emr,那么日志将驻留在:
emr的大多数日志都可以在
/var/logs
主节点中的目录您还可以使用yarn cli获取应用程序日志,并将返回的日志流重定向到一个文件中,以执行任何您想要的操作。