我想改变spark使用的tmp目录，所以我在spark-submit中有类似的东西。
spark-submit <other parameters> --conf "spark.local.dir=<somedirectory>" <other parameters>但是我注意到它没有效果，因为Spark仍然使用默认的tmp目录。我在这里做错了什么？
顺便说一下，我使用的是Spark的独立集群。
我想改变spark使用的tmp目录，所以我在spark-submit中有类似的东西。
spark-submit <other parameters> --conf "spark.local.dir=<somedirectory>" <other parameters>但是我注意到它没有效果，因为Spark仍然使用默认的tmp目录。我在这里做错了什么？
顺便说一下，我使用的是Spark的独立集群。
3条答案
按热度按时间dgsult0t1#
从https://spark.apache.org/docs/2.1.0/configuration.html
在Spark 1.0和更高版本中，
spark.local.dir被群集管理器设置的SPARK_LOCAL_DIRS**（独立、Mesos）或LOCAL_DIRS（YARN）**环境变量覆盖。”fhg3lkii2#
好的，看起来这个选项已经过时了。一个有效的方法是在
spark-env.sh中更改SPARK_LOCAL_DIRS的值。例如，像这样。disho6za3#
我在独立的Spark上遇到了这个问题。
虽然我在我的
~/.bashrc中设置了SPARK_LOCAL_DIRS=/opt/tmp，但我一直得到错误。然后将hadoop.tmp.dir设置为我的mapred-site.xml中的相同路径/opt/tmp。