我是mapreduce的新手，我正在尝试找到一个问题的解决方案。我正在尝试链接两个mapreduce作业。第一个作业正在执行，但在第二个作业上，我得到一个错误，如下所示
INFO mapreduce.Job: Task Id : attempt_1445271708293_0055_m_000000_1, Status : FAILED
Error: java.io.IOException: Initialization of all the collectors failed. Error in last collector was :null
at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:414)
at org.apache.hadoop.mapred.MapTask.access$100(MapTask.java:81)
at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:698)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:770)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.NullPointerException
at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.init(MapTask.java:1011)
at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:402)
... 9 more
2条答案
按热度按时间goucqfw61#
我在驱动程序类中导入了文本
而不是
正因为如此，我得到了错误，一旦我纠正了错误，它开始工作良好。
gmxoilav2#
当map任务的输出类型与reduce任务的输入类型不匹配时，我也遇到了同样的错误。
Map器中的最后两个参数应与reducer中的前两个参数具有相同的类型。