默认情况下,yarn在应用程序完成后聚合日志。但我正在尝试为spark流媒体工作聚合日志,理论上它将永远运行。我为日志聚合设置了以下属性,并通过重新启动 hadoop-yarn-nodemanager
核心和任务节点 hadoop-yarn-resourcemanager
对于我的emr集群上的主节点。我可以在中查看我的更改http://node-ip:8088/配置。
yarn.log-aggregation-enable => true
yarn.log-aggregation.retain-seconds => 172800
yarn.log-aggregation.retain-check-interval-seconds => -1
yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds => 3600
所有文章和参考资料只提到 yarn.nodemanager.log-aggregation.roll-monitoring-interval-seconds
属性和Yarn将开始聚合运行作业的日志。但在我的情况下不起作用。
暂无答案!
目前还没有任何答案,快来回答吧!