tez作业在不同用户提交时失败

hgqdbh6s 于 2021-05-29 发布在 Hadoop

关注(0)|答案(1)|浏览(519)

已配置具有kerberos安全性的hadoop-2.6.0 ha群集。在中使用tez-example-0.6.0.jar提交示例作业时 yarn-tez 来自不同用户的框架，得到以下异常
例外

java.io.IOException: The ownership on the staging directory hdfs://clustername/tmp/staging is not as expected. It is owned by Kumar. The directory must be owned by the submitter TestUser or by TestUser

目录具有完全权限，但仍获得上述异常。但是在中使用mapreduce-examples-2.6.0.jar提交作业时 yarn-tez 然后作业成功完成。
命令

yarn jar C:\Tez\tez-examples-0.6.0.jar orderedwordcount -Dmapreduce.framework.name=yarn-tez  /user/Kumar/names /user/Kumar/names1

我们将不胜感激。

Java hadoop yarn kerberos apache-tez

来源：https://stackoverflow.com/questions/31421957/tez-job-fails-when-submitting-by-different-user

1条答案

按热度按时间

ogq8wdun1#

在tez-site.xml中设置以下内容：

<property>
   <name>tez.staging-dir</name>
   <value>/tmp/${user.name}/tez/staging/</value>
</property>

当前的暂存目录似乎配置为使用/clustername/tmp/staging/，它最终对多个用户使用相同的路径，从而导致权限冲突。
如果使用/clustername/tmp作为前缀，请确保预先创建tmp目录并对其拥有777权限。

赞(0）回复(0）举报 2021-05-30

我来回答

tez作业在不同用户提交时失败

1条答案

相关问题

热门标签

最新问答