zepplin:spark和用户定义的python版本

rsl1atfo  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(272)

spark集群的默认python版本是2.7。然而,很多spark项目都是基于python3.7的。当我使用spark submit时,我可以使用以下参数来解决问题:

spark-submit --conf spark.yarn.dist.archives=/my/python/path.tar.gz --conf spark.pyspark.driver.python=/my/python/path/python --conf spark.pyspark.python=/my/python/path/python

但是,在将参数添加到“zeppelin env.sh”时

export SPARK_SUBMIT_OPTIONS="--conf spark.yarn.dist.archives=/my/python/path.tar.gz --conf spark.pyspark.driver.python=/my/python/path/python --conf spark.pyspark.python=/my/python/path/python"

它不起作用。我怎样才能解决这个问题?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题