我将不确定数量的map reduce作业链接在一起，以实现并行bfs最短路径算法，当路径无法确定时，我的作业将无限循环而不生成任何记录。我认为最好的检查方法是获取hadoop维护的map output bytes计数器。我怎样才能进入这个柜台？
igetnqfo1#
要获取作业生成的Map输出字节计数器，请使用
long outputBytes = job.getCounters().findCounter("org.apache.hadoop.mapred.Task$Counter", "MAP_OUTPUT_BYTES").getValue();
看到了吗http://lintool.github.io/cloud9/docs/content/counters.html 有关更多计数器组和名称
1条答案
按热度按时间igetnqfo1#
要获取作业生成的Map输出字节计数器，请使用
看到了吗http://lintool.github.io/cloud9/docs/content/counters.html 有关更多计数器组和名称