spark应用程序+hdfs+user不是inode=alapati的所有者

e5njpo68 于 2021-05-27 发布在 Hadoop

关注(0)|答案(1)|浏览(500)

我们正在hadoop集群上运行spark应用程序（hortonworks的hdp版本-2.6.5）。
从日志中我们可以看到以下诊断

User: airflow
Application Type: SPARK
User class threw exception: org.apache.hadoop.security.AccessControlException: Permission denied. user=airflow is not the owner of inode=alapati

日志中没有明确提供我们需要搜索的内容 HDFS 为了找出我们被拒绝的原因。

hadoop hdfs apache-spark airflow hdp

来源：https://stackoverflow.com/questions/59134519/spark-application-hdfs-user-airflow-is-not-the-owner-of-inode-alapati

1条答案

按热度按时间

rqenqsqc1#

looks line user=AIFLOW无权将数据写入hdfs。
默认情况下，/user/目录由“hdfs”拥有755个权限。因此，只有hdfs可以写入该目录。
您可以使用两个选项：
将spark用户名从airflow更改为hdfs或
如果仍然需要使用user=airfold，请为airfold创建一个主目录
sudo-u hdfs hadoop fs-mkdir/user/airflow sudo-u hdfs hadoop fs-chown root/user/airflow

赞(0）回复(0）举报 2021-05-27

我来回答

spark应用程序+hdfs+user不是inode=alapati的所有者

1条答案

相关问题

热门标签

最新问答