允许spark在azure fileshare挂载上创建具有写访问权限的tmp文件

6tqwzwtp  于 2021-05-19  发布在  Spark
关注(0)|答案(0)|浏览(248)

我有一个运行linux-ubuntu的vm,一个azure文件共享驱动器正在使用fstab挂载到vm上,如下所示

{storageName}.file.core.windows.net/{storageName} /mnt/fileshare cifs nofail,vers=3.0,uid=myUserName,gid=myUserGroup,credentials=/etc/smbcredentials/{storageName}.cred,serverino,file_mode=0777,dir_mode=0777,nounix,noperm    0 0

spark.local.dir被设置为指向安装的文件共享。spark创建的文件夹主要都有777访问权限,除了tmp中名称前缀为“spark-”的目录没有写访问权限。此权限缺失导致spark作业在尝试删除文件夹时失败。
感谢如果有人可以建议我可以做什么,使文件夹开始与“Spark-”由Spark写访问创建。
提前谢谢!

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题