写入hdfs时是否可以设置spark暂存文件夹

siv3szwd  于 2021-05-29  发布在  Spark
关注(0)|答案(0)|浏览(210)

我想运行两个spark流进程(spark 2.2.0),它们写入hdfs中的同一个文件夹(即/tmp/myproject)。
在写入hdfs时,这两个spark应用程序都将使用/temp/myproject下的相同暂存目录,正如我所了解的,对两个应用程序使用公共暂存文件夹可能会导致问题。对吗?
是否有任何参数(在spark 2.2.0中)可用于为每个进程设置不同的暂存文件夹?
谢谢,莎伦

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题