通过环境变量传递spark conf(没有conf dir)

mwkjh3gx  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(412)

有没有办法通过环境变量传递spark conf参数,这样就不需要在笔记本中指定它们了?对于Pypark来说 PYSPARK_SUBMIT_ARGS pyspark-shell 对齐柏林飞艇来说 SPARK_SUBMIT_OPTIONSconf/zeppelin-env.sh (https://zeppelin.apache.org/docs/0.5.5-incubating/interpreter/spark.html). 有没有什么方法可以通过类似的方式在杏仁仁中传递env给jupyterhub(例如通过一些菊石配置)?不幸的是, SPARK_SUBMIT_OPTS 无法消化 --conf 参数。现在我想避免使用 SPARK_CONF_DIR .

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题