2014-01-23 20:14:59,136 INFO org.apache.hadoop.mapred.JobInProgress: Input size for job job_201401221948_0006 = 1395667. Number of splits = 7
2014-01-23 20:14:59,137 INFO org.apache.hadoop.mapred.JobInProgress: tip:task_201401221948_0006_m_000000 has split on node:/fd0/ud0/localhost
2014-01-23 20:14:59,137 INFO org.apache.hadoop.mapred.JobInProgress: tip:task_201401221948_0006_m_000001 has split on node:/fd0/ud0/localhost
...... 如果您看到number of splits=1，那么将有一个map任务，并且您知道只有节点将被利用。 当分割数>1时，对于每个分割，您将看到使用tasktracker节点信息创建的Map任务，如下所示-
2014-01-23 20:14:59,153 INFO org.apache.hadoop.mapred.JobTracker: Adding task (JOB_SETUP) 'attempt_201401221948_0006_m_000008_0' to tip task_201401221948_0006_m_000008, for tracker 'tracker_workernode7:127.0.0.1/127.0.0.1:49200'
1条答案
按热度按时间62o28rlo1#
运行作业后，查看当前的jobtracker日志，您可能会看到如下条目-
......
如果您看到number of splits=1，那么将有一个map任务，并且您知道只有节点将被利用。
当分割数>1时，对于每个分割，您将看到使用tasktracker节点信息创建的Map任务，如下所示-