与mrv2 jobclient等效

polkgigr  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(379)

我找不到与mrv2等效的jobclient(java,mrv1)。我正在尝试读取正在运行的作业的mr作业状态、计数器等。我必须从资源管理器获取信息,我相信(因为历史服务器在作业结束之前没有这些信息,我需要在作业仍在运行时读取计数器)。MapReduceAPI中是否有我丢失的客户端?

uxhixvfz

uxhixvfz1#

如果您拥有提交给yarn的mr作业的申请id,则可以使用: YarnClient ( import org.apache.hadoop.yarn.client.api.YarnClient )以及 ApplicationReport ( import org.apache.hadoop.yarn.api.records.ApplicationReport )
获取与应用程序相关的统计信息。
例如,示例代码如下:

// Initialize and start YARN client
YarnClient yarnClient = YarnClient.createYarnClient();
yarnClient.init(configuration);
yarnClient.start();

// Get application report
try {
    ApplicationReport applicationReport = yarnClient.getApplicationReport(ConverterUtils.toApplicationId(applicationID));
    // Get whatever you want here.
} catch (Exception e) {
    // Handle exception;
}

// Stop YARN client
yarnClient.stop();

你可以从 ApplicationReport 课程是:
应用程序资源使用情况报告
应用语言学
最终申请状态
起止时间
应用程序类型
优先
进展等。
您可以查看api文档以了解 YarnClient 以及 ApplicationReport 这里(这是hadoop 2.7文档):
雅恩克利特
应用程序报告

相关问题