spark集群的默认python版本是2.7。然而,很多spark项目都是基于python3.7的。当我使用spark submit时,我可以使用以下参数来解决问题:
spark-submit --conf spark.yarn.dist.archives=/my/python/path.tar.gz --conf spark.pyspark.driver.python=/my/python/path/python --conf spark.pyspark.python=/my/python/path/python
但是,在将参数添加到“zeppelin env.sh”时
export SPARK_SUBMIT_OPTIONS="--conf spark.yarn.dist.archives=/my/python/path.tar.gz --conf spark.pyspark.driver.python=/my/python/path/python --conf spark.pyspark.python=/my/python/path/python"
它不起作用。我怎样才能解决这个问题?
暂无答案!
目前还没有任何答案,快来回答吧!