使用gridgain加速器运行mapreduce作业时,是否可以获取hadoop计数器?我可以使用我制作的自定义计数器,但似乎没有内置hadoop的计数器。
下面是我用来打印计数器的一些代码:
Counters counters = job.getCounters();
for (CounterGroup group : counters) {
System.out.println("Group: " + group.getDisplayName() + "," + group.getName());
System.out.println(" number of counters: " + group.size());
for (Counter counter : group) {
System.out.println(" - " + counter.getDisplayName() + ": " + counter.getName() + ": "+counter.getValue());
}
}
谢谢关注!!!
1条答案
按热度按时间bq9c1y661#
在gridgain hadoop加速器中,您得到的计数器是空的,因为gg在自己的map reduce引擎(而不是hadoop引擎)中运行作业,所以内置hadoop计数器不可用。hadoop org.apache.hadoop.mapred.localjobrunner有map reduce进度计数器,但在gg map reduce引擎中没有实现map reduce作业进度计数器。你可以提交一张引燃项目的罚单(https://issues.apache.org/jira/browse/ignite)为了实现这一点。