如何调试hadoop作业,并将中间数据记录到控制台?

qqrboqgw  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(273)

我正在尝试编写一个hadoop作业,而一开始我正在尝试以exnihilo的方式创建它-这太难了-所以我的新攻击计划是将word count示例猛击成正确的形状。
所以,现在的问题是,如何调试hadoop程序?
显然不可能这样做:

public void map(Object key, Text value, Context context) 
                                  throws IOException, InterruptedException {

  // debugging output
  System.out.println("Hello World! :D");

  StringTokenizer itr = new StringTokenizer(value.toString());
  while (itr.hasMoreTokens()) {
    word.set(itr.nextToken());
    context.write(word, one);
  }
}

在namenode执行时,无法将作业的中间进度输出到其控制台?是不是我总是要把输出写进日志,然后再去查?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题