pyspark读取文件时出错flume hdfs sink导入user=flume且权限为644的文件

kkbh8khc 于 2021-06-04 发布在 Flume

关注(0)|答案(0)|浏览(309)

我正在使用cloudera quickstart vm 5.12
我有一个flume代理移动csv文件从spooldir源到hdfs接收器。操作正常，但导入的文件有：

User=flume 
Group=cloudera 
Permissions=-rw-r--r--

当我使用pyspark并得到：

PriviledgedActionException as:cloudera (auth:SIMPLE) 
cause:org.apache.hadoop.security.AccessControlException: Permission denied: 
user=cloudera, access=EXECUTE, 
inode=/user/cloudera/flume/events/small.csv:cloudera:cloudera:-rw-r--r-- 
(Ancestor /user/cloudera/flume/events/small.csv is not a directory).

如果我使用“hdfs dfs-put…”而不是flume，那么用户和组是“cloudera”，权限是777。无Spark误差

解决办法是什么？我无法从flume中找到更改文件权限的方法。也许我的方法是根本错误的
有什么想法吗？
谢谢您