emr-在hadoop中使用自定义日志附加器(和yarn)

7tofc5zh  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(370)

在我们的emr集群中,我们使用定制的log4j appenders和log4j.properties来允许我们将日志转发到splunk,并允许我们执行一些所提供的库和配置不知道如何执行的魔术。
在emr 3.x中,我们使用了引导操作:
从s3下载我们定制的log4j appender jar、log4j.properties、container-log4j.properties。
将我们的定制log4j appender jar放入/home/hadoop/share/hadoop/yarn/lib/的yarn lib目录中。
更新hadoop classpath以使用我们的定制log4j appender
将修改后的container-log4j.properties放入hadoop-yarn-server-nodemanager.jar的/home/hadoop/share/hadoop/yarn中/
所有这些都有效,并允许我们在hadoop进程中使用appender。
我们试图升级到emr版本v4,但是我们注意到在没有安装hadoop-yarn的情况下执行引导操作有很大的变化(路径/usr/lib/hadoop-yarn/不存在),因此,没有hadoop-yarn-server-nodemanager.jar可以修改,因为它还没有安装(我们使用命令jar uf/usr/lib/hadoop-yarn/hadoop-yarn-server-nodemanager.jar container-log4j.properties修改jar),也没有lib文件夹可以在其中放置自定义的log4j appender。
如何在emr4.x中进行这些更改,以允许自定义日志记录?

uqzxnwby

uqzxnwby1#

您可以按照本页的说明覆盖log4j和container-log4j设置。http://docs.aws.amazon.com//elasticmapreduce/latest/releaseguide/emr-4.7.2/emr-configure-apps.html
如果您使用的是ui,请填写配置,如果您使用的是cli,请使用--configurationsfile://./configurations.json

相关问题