如何修复“使用spark创建hive orc表时权限被拒绝”?

aydmsdu9  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(523)

首先,我创建了一个名为“prodf”的Dataframe。然后我需要将prodf保存为“orc”格式的表

import org.apache.spark.sql.SaveMode
proDF.write.mode(SaveMode.Overwrite).format("orc").saveAsTable("product_orc_table")

但是,spark shell返回了一个故障:
message:java.security.accesscontrolexception:权限被拒绝:user=junyanxu,access=write,inode=“/apps/hive/warehouse/product\u orc\u table”:uma\u kanagarajan:hdfs:drwxr-xr-x
我试着改变 /apps/hive/warehouse/product_orc_table 使用代码:

hadoop fs -chmod 777 /apps/hive/warehouse/product_orc_table

但是这个密码被拒绝了,说:
user=junyanxu不是inode=product\orc\u表的所有者。
我希望我能成功地创建orc表。

6jjcrrmo

6jjcrrmo1#

这里提到了/apps/hive的用户和组所有权
去执行你的命令 hadoop fs -chmod 777 /apps/hive/warehouse/product_orc_table 在执行以下命令之前,您需要是hdfs用户

sudo su
su hdfs

注意,这不是一个更好的做法,请遵循所提到的链接中的配置单元所需的权限。

相关问题