我们正在hadoop集群上运行spark应用程序（hortonworks的hdp版本-2.6.5）。
从日志中我们可以看到以下诊断
User: airflow
Application Type: SPARK
User class threw exception: org.apache.hadoop.security.AccessControlException: Permission denied. user=airflow is not the owner of inode=alapati日志中没有明确提供我们需要搜索的内容 HDFS 为了找出我们被拒绝的原因。
1条答案
按热度按时间rqenqsqc1#
looks line user=AIFLOW无权将数据写入hdfs。
默认情况下，/user/目录由“hdfs”拥有755个权限。因此，只有hdfs可以写入该目录。
您可以使用两个选项：
将spark用户名从airflow更改为hdfs或
如果仍然需要使用user=airfold，请为airfold创建一个主目录
sudo-u hdfs hadoop fs-mkdir/user/airflow sudo-u hdfs hadoop fs-chown root/user/airflow