rhadoop流作业与apacheoozie一起失败

n9vozmp4  于 2021-06-04  发布在  Hadoop
关注(0)|答案(0)|浏览(219)

我真的只是想从社区的头脑中找出一些线索,来找出我所面临的问题到底是怎么回事。
我正在用rhadoop(rmr2,v3.0.0)编写一个mr作业,它非常棒——用hdfs实现io,Map,还原。没问题。生活是美好的。
我正在尝试使用apache oozie安排作业,但遇到了一些问题: Error in mr(map = map, reduce = reduce, combine = combine, vectorized.reduce, : hadoop streaming failed with error code 1 我已经阅读了rmr2调试指南,但是没有任何东西真正进入stderr,因为作业在计划任何事情之前就失败了。
在我的脑海里,一切都指向不同的环境。但是,oozie是以我能够通过cli运行所有东西的同一个用户的身份运行作业的,并且运行所有r环境变量(使用 Sys.getenv() )都是一样的,只是在oozie中设置了一些额外的类路径。
我可以发布更多的操作系统或hadoop版本和配置细节,但是搜索一些特定版本的bug似乎有点麻烦,因为在命令行上一切正常。
有没有人想过下一步有什么有用的办法来猎杀这只野兽?
更新:
我写得太多了 system 函数在基本包中记录用户、节点的主机名以及对系统进行内部调用之前执行的命令。因此,在实际执行任何系统调用之前,我在stderr中得到如下结果: user@host.name /usr/bin/hadoop jar /usr/lib/hadoop-mapreduce/hadoop-streaming-2.2.0.2.0.6.0-102.jar ... 使用oozie运行时,stderr中打印的命令失败,退出状态为1。当我在上运行命令时 user@host.name ,运行成功。因此,在同一节点上具有相同用户的完全相同的命令在oozie中失败,但在cli中成功运行。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题