作业完成后获取mapreduce作业进度

xurqigkl  于 2021-06-24  发布在  Hive
关注(0)|答案(1)|浏览(353)


我正在开发一个应用程序,可以收集mpreduce作业进度信息进行分析。第一种方法是解析日志文件。但是它很难看。有没有像hook或plugin这样的方法可以做到这一点

7qhs6swi

7qhs6swi1#

您可能可以使用yarn应用程序api来获取大部分信息。查看此应用程序api
以下是本页摘录:
... 此api的所有查询参数将在所有应用程序上进行筛选。但是,queue query参数只会隐式筛选给定队列中当前未完成的应用程序。
还有其他的yarn api,您可以利用它们来实现您的目标。这当然比扫描日志文件好。

相关问题