yarn日志聚合

y1aodyip  于 2021-06-01  发布在  Hadoop
关注(0)|答案(0)|浏览(320)

默认情况下,yarn在应用程序完成后聚合日志。但我正在尝试为spark流媒体工作聚合日志,理论上它将永远运行。我为日志聚合设置了以下属性,并通过重新启动 hadoop-yarn-nodemanager 核心和任务节点 hadoop-yarn-resourcemanager 对于我的emr集群上的主节点。我可以在中查看我的更改http://node-ip:8088/配置。

yarn.log-aggregation-enable => true
yarn.log-aggregation.retain-seconds => 172800
yarn.log-aggregation.retain-check-interval-seconds => -1
yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds => 3600

所有文章和参考资料只提到 yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds 属性和Yarn将开始聚合运行作业的日志。但在我的情况下不起作用。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题