在hadoop中获取退役作业的详细信息

juud5qan  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(306)

我需要使用java在hadoop job tracker中获得关于退役作业的以下详细信息。
作业id
用户
(工作)名称
状态
开始时间
完成时间。
期间
基本上上面的大部分都是由 jobtracker.jsp url。
我需要捕获它们以用于审计目的。
请让我知道如何访问上述字段。
代码示例将非常有用
有了下面提到的代码,我只能获得完成作业的详细信息,示例代码片段:

JobClient client = new JobClient(getConf());    
for (JobStatus job : client.getAllJobs()) {    
    if (job.isJobComplete()) {    
        Stirng jobName = job.getJobName();    
        int jobStatus = job.getJobStatus();    
        // .. you get the idea    
    }    
}

需要帮助!!
提前谢谢!!!!

mqkwyuun

mqkwyuun1#

我想你需要办理登机手续
在工作历史中
关键字:hadoop.job.history.location
键(h21):mapreduce.jobtracker.jobhistory.location
默认值:文件://${hadoop.log.dir}/history
保留期:最多30天(见下面的一般工作文件注解)
注意:这个键的值被视为uri,换句话说,您可以将作业文件存储在hdfs或本地文件系统中(这是默认值)。
更多信息
http://blog.cloudera.com/blog/2010/11/hadoop-log-location-and-retention/

相关问题