hadoop2中的jobhistory服务器无法从hdfs加载历史文件

iswrvxsc  于 2021-06-03  发布在  Hadoop
关注(0)|答案(1)|浏览(302)

错误消息如下所示:

Could not load history file hdfs://namenodeha:8020/mr-history/tmp/hdfs/job_1392049860497_0005-1392129567754-hdfs-word+count-1392129599308-1-1-SUCCEEDED-default.jhist

事实上,我知道问题的答案。/mr历史文件的默认设置为: hadoop fs -chown -R $MAPRED_USER:$HDFS_USER /mr-history 但在运行作业时(在$hdfs\u user下),作业文件保存到$hdfs\u user:$hdfs\u user下的/mr history/tmp/hdfs,然后$mapred\u user无法访问作业文件(jobhistory服务器正在运行)。再次更改权限后,可以加载作业文件。
但每一份新工作都会再次发生这种情况。有人能帮我一下吗,这个问题的解决办法是什么,谢谢。

brqmpdu1

brqmpdu11#

我也遇到了同样的问题。作为一种解决方法,我将$mapred\u用户添加到$hdfs\u用户组中,这很有帮助。

相关问题