yarn应用程序日志在发送到s3之前存储在emr中的什么地方

cyvaqqii  于 2021-06-01  发布在  Hadoop
关注(0)|答案(2)|浏览(410)

我有一个要求,写Yarn应用程序日志从电子病历以外的其他来源,而不是s3。。你能告诉我应用程序日志在emr主示例中保存在哪里吗

busg9geu

busg9geu1#

Yarn原木在 /var/log/hadoop-yarn/ ,Yarn容器原木在 /var/log/hadoop-yarn/container ####链接:
https://docs.aws.amazon.com/emr/latest/managementguide/emr-plan-debugging.html
https://docs.aws.amazon.com/emr/latest/managementguide/emr-manage-view-web-log-files.html

ddrv8njm

ddrv8njm2#

如果申请作为一个步骤提交给emr,那么日志将驻留在:

/var/log/hadoop/steps/<<step-id>>/<<log-file>>

emr的大多数日志都可以在 /var/logs 主节点中的目录
您还可以使用yarn cli获取应用程序日志,并将返回的日志流重定向到一个文件中,以执行任何您想要的操作。

yarn logs -applicationId <<application_id>> > application_log_file.log

相关问题