我正在开发一个应用程序,可以收集mpreduce作业进度信息进行分析。第一种方法是解析日志文件。但是它很难看。有没有像hook或plugin这样的方法可以做到这一点
7qhs6swi1#
您可能可以使用yarn应用程序api来获取大部分信息。查看此应用程序api以下是本页摘录:... 此api的所有查询参数将在所有应用程序上进行筛选。但是,queue query参数只会隐式筛选给定队列中当前未完成的应用程序。还有其他的yarn api,您可以利用它们来实现您的目标。这当然比扫描日志文件好。
1条答案
按热度按时间7qhs6swi1#
您可能可以使用yarn应用程序api来获取大部分信息。查看此应用程序api
以下是本页摘录:
... 此api的所有查询参数将在所有应用程序上进行筛选。但是,queue query参数只会隐式筛选给定队列中当前未完成的应用程序。
还有其他的yarn api,您可以利用它们来实现您的目标。这当然比扫描日志文件好。