错误消息如下所示:
Could not load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhist
事实上,我知道问题的答案。/mr历史文件的默认设置为: hadoop fs -chown -R $MAPRED_USER:$HDFS_USER /mr-history
但在运行作业时(在$hdfs\u user下),作业文件保存到$hdfs\u user:$hdfs\u user下的/mr history/tmp/hdfs,然后$mapred\u user无法访问作业文件(jobhistory服务器正在运行)。再次更改权限后,可以加载作业文件。
但每一份新工作都会再次发生这种情况。有人能帮我一下吗,这个问题的解决办法是什么,谢谢。
1条答案
按热度按时间brqmpdu11#
我也遇到了同样的问题。作为一种解决方法,我将$mapred\u用户添加到$hdfs\u用户组中,这很有帮助。