在bash脚本中执行时捕获作业id

wr98u20j 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(369)

我正在实现一个shell脚本，以便在验证某些条件后运行一个yarn作业。我想在shell脚本使用其jobid触发后检查作业状态/进度。你有什么想法吗？
因为我不能从pid得到工作ID，所以我有点卡住了。
提前谢谢

hadoop shell yarn bash

来源：https://stackoverflow.com/questions/48776486/capture-yarn-job-id-when-executed-in-bash-script

1条答案

按热度按时间

zvokhttg1#

将其保存在hdfs中最简单，您可以随时参考：

val hadoopConf = sc.hadoopConfiguration
    val fs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)
    fs.create(new Path("PathWithFileName"), true).writeBytes(sc.applicationId)

赞(0）回复(0）举报 2021-05-29

我来回答

在bash脚本中执行时捕获作业id

1条答案

相关问题

热门标签

最新问答