当我在集群模式下部署应用程序时,我想在本地的文本文件中获取应用程序ID。
为此,我编辑了log4j.properties文件,并为客户端配置它,但我不工作。
我也关注过这个博客:https://largecats.github.io/blog/2020/09/21/spark-cluster-mode-collect-log/,但没有得到满意的结果。
我也遵循了这个 spark-submit in cluster deploy mode get application id to console,但它在控制台上显示应用程序ID。
所以,请任何人帮助我,我被困在那里一个星期,但没有得到适当的解决办法。
1条答案
按热度按时间6yt4nkrj1#
您应该在提交时将
tag
设置为Spark应用,之后根据标签值设置为ask Yarn
。--conf spark.yarn.tags=tag-name