hadoop:在Map任务之前,作业首先在哪里执行?

6mw9ycah  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(278)

这是一个典型的 main hadoop作业的方法:

public class MyHadoopJobDriver extends Configured implements Tool {

  public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new MyHadoopJobDriver(), args);
    System.exit(exitCode);
  }
  ...

}

当我做这个工作的时候 hadoop MyHadoopJobDriver ,上面的代码是否在任务跟踪器上自己的jvm中执行?那么一旦作业被调度,Map任务就被分发到任务跟踪器?

nom7f22z

nom7f22z1#

是的,通常。请注意,如果您在eclipse中“debug->as java application”该类,则可以使用调试器进行测试、设置断点等。请注意,即使您在eclipse中运行驱动程序类和Map器/还原器,您仍然需要在计算机上运行hadoop以支持hdfs。

相关问题