使用管道和bash脚本在hadoophdinsight中编写map reduce

r1wp621o  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(171)

我试图在hadoop流媒体hdinsight中做一个map reduce工作。我采用的方法是,我有一个Map器,它通过管道传输我创建的许多其他脚本(bash和python),最终得到key\tvalue选项。我正在按预期将所有文件复制到所有节点。但是,我不断得到下面显示的错误。原因可能是什么?bash中的管道是否存在问题?

Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1
at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:322)
at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:535)
at org.apache.hadoop.streaming.PipeMapper.close(PipeMapper.java:130)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:61)
at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:170)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1866)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:164)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题