log4j 在集群部署模式下执行spark-submit后获取特定文件中的应用程序ID

mlnl4t2r  于 2022-11-06  发布在  Spark
关注(0)|答案(1)|浏览(97)

当我在集群模式下部署应用程序时,我想在本地的文本文件中获取应用程序ID。
为此,我编辑了log4j.properties文件,并为客户端配置它,但我不工作。
我也关注过这个博客:https://largecats.github.io/blog/2020/09/21/spark-cluster-mode-collect-log/,但没有得到满意的结果。
我也遵循了这个 spark-submit in cluster deploy mode get application id to console,但它在控制台上显示应用程序ID。
所以,请任何人帮助我,我被困在那里一个星期,但没有得到适当的解决办法。

6yt4nkrj

6yt4nkrj1#

您应该在提交时将tag设置为Spark应用,之后根据标签值设置为ask Yarn
--conf spark.yarn.tags=tag-name

相关问题