我需要使用java在hadoop job tracker中获得关于退役作业的以下详细信息。
作业id
用户
(工作)名称
状态
开始时间
完成时间。
期间
基本上上面的大部分都是由 jobtracker.jsp
url。
我需要捕获它们以用于审计目的。
请让我知道如何访问上述字段。
代码示例将非常有用
有了下面提到的代码,我只能获得完成作业的详细信息,示例代码片段:
JobClient client = new JobClient(getConf());
for (JobStatus job : client.getAllJobs()) {
if (job.isJobComplete()) {
Stirng jobName = job.getJobName();
int jobStatus = job.getJobStatus();
// .. you get the idea
}
}
需要帮助!!
提前谢谢!!!!
1条答案
按热度按时间mqkwyuun1#
我想你需要办理登机手续
在工作历史中
关键字:hadoop.job.history.location
键(h21):mapreduce.jobtracker.jobhistory.location
默认值:文件://${hadoop.log.dir}/history
保留期:最多30天(见下面的一般工作文件注解)
注意:这个键的值被视为uri,换句话说,您可以将作业文件存储在hdfs或本地文件系统中(这是默认值)。
更多信息
http://blog.cloudera.com/blog/2010/11/hadoop-log-location-and-retention/