如何在内存加速器的gridgain中获得hadoop内置计数器?

6psbrbz9  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(396)

使用gridgain加速器运行mapreduce作业时,是否可以获取hadoop计数器?我可以使用我制作的自定义计数器,但似乎没有内置hadoop的计数器。
下面是我用来打印计数器的一些代码:

Counters counters = job.getCounters();

for (CounterGroup group : counters) {
        System.out.println("Group: " + group.getDisplayName() + "," + group.getName());
        System.out.println("  number of counters: " + group.size());
        for (Counter counter : group) {
            System.out.println("  - " + counter.getDisplayName() + ": " + counter.getName() + ": "+counter.getValue());
        }
}

谢谢关注!!!

bq9c1y66

bq9c1y661#

在gridgain hadoop加速器中,您得到的计数器是空的,因为gg在自己的map reduce引擎(而不是hadoop引擎)中运行作业,所以内置hadoop计数器不可用。hadoop org.apache.hadoop.mapred.localjobrunner有map reduce进度计数器,但在gg map reduce引擎中没有实现map reduce作业进度计数器。你可以提交一张引燃项目的罚单(https://issues.apache.org/jira/browse/ignite)为了实现这一点。

相关问题