我正在用传递一个文件 --files
使用提交申请时 spark2-submit
以及使用 Sparkfiles.get(filename)
读取文件。
print('path' + SparkFiles.get(file))
path_to_config_file = SparkFiles.get(file)
with open(path_to_config_file, 'r') as config_file:
for line in config_file:
#print contents
我可以打印语句中文件的路径,但无法读取它。无法获取问题所在。
输出:
path/data/yarn/nm/usercache/root/appcache/application_1585022987183_0832/spark-e3b728db-5cff-4ae4-ac81-9109b58a6948/userFiles-826481ff-8ab1-49f1-9e3b-d9099204f365/filename
IOError: [Errno 2] No such file or directory: u'/data/yarn/nm/usercache/root/appcache/application_1585022987183_0832/spark-e3b728db-5cff-4ae4-ac81-9109b58a6948/userFiles-826481ff-8ab1-49f1-9e3b-d9099204f365/filename
暂无答案!
目前还没有任何答案,快来回答吧!