我试图执行一个aws胶水作业,在磁盘上创建一个临时文件。但是,在尝试编写sparkdataframe时:
dydf = glueContext.create_dynamic_frame.from_options(
connection_type = 's3',
connection_options = {'paths': ['s3://some-bucket/test.csv']},
format = 'csv')
sdf = dydf.toDF()
sdf.coalesce(1).write.csv(filepath)
在磁盘上,出现以下错误:
原因:org.apache.hadoop.ipc.remoteexception(org.apache.hadoop.security.accesscontrolexception):权限被拒绝:user=root,access=write,inode=“/”:hdfs:hadoop:drwxr-xr-x
如何设置/授予这些权限以将文件写入磁盘以进行粘合作业?
暂无答案!
目前还没有任何答案,快来回答吧!