我想运行两个spark流进程(spark 2.2.0),它们写入hdfs中的同一个文件夹(即/tmp/myproject)。
在写入hdfs时,这两个spark应用程序都将使用/temp/myproject下的相同暂存目录,正如我所了解的,对两个应用程序使用公共暂存文件夹可能会导致问题。对吗?
是否有任何参数(在spark 2.2.0中)可用于为每个进程设置不同的暂存文件夹?
谢谢,莎伦
我想运行两个spark流进程(spark 2.2.0),它们写入hdfs中的同一个文件夹(即/tmp/myproject)。
在写入hdfs时,这两个spark应用程序都将使用/temp/myproject下的相同暂存目录,正如我所了解的,对两个应用程序使用公共暂存文件夹可能会导致问题。对吗?
是否有任何参数(在spark 2.2.0中)可用于为每个进程设置不同的暂存文件夹?
谢谢,莎伦
暂无答案!
目前还没有任何答案,快来回答吧!