pyspark 如何使用virtualenv发送和运行spark-submit

ykejflvf 于 12个月前发布在 Spark

关注(0)|答案(1)|浏览(165)

我尝试在独立集群上提交spark作业，我已将virtualenv压缩为venv.zip，并将作业作为shell脚本提交

#!/bin/sh
PYSPARK_PYTHON=./venv/bin/python \
PYSPARK_DRIVER_PYTHON=./venv/bin/python 
spark-submit \
--jars ojdbc6.jar \
--master spark://HOST:7077 \
--archives venv.zip#venv \
job.py

字符串
但我一直得到的模块找不到，即使它存在于venv和它运行在本地模式罚款。
我也尝试登录worker node运行venv，手动激活virtualenv后，模块都能找到，好像脚本都是用系统级python的，怎么解决？

pyspark

来源：https://stackoverflow.com/questions/68247256/how-to-ship-and-run-spark-submit-with-virtualenv

1条答案

按热度按时间

pvcm50d11#

我可以用下面的代码片段来做。基本上，我压缩了venv内容，并将venv放在HDFS中（如果你没有HDFS或节点的任何共享可访问位置）。如果你没有，那么我认为你可以在同一路径下的所有节点上克隆虚拟环境

#!/bin/sh
PYSPARK_PYTHON=./venv/bin/python \
PYSPARK_DRIVER_PYTHON=./venv/bin/python \
spark-submit \
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=./venv/bin/python \
--conf spark.executorEnv.PYSPARK_PYTHON=./venv/bin/python \
--conf spark.yarn.dist.archives=hdfs:///user/sw/python-envs/venv.zip#venv \
--conf spark.yarn.appMasterEnv.HADOOP_USER_NAME=hdfs \
--conf spark.executorEnv.HADOOP_USER_NAME=hdfs \
--master yarn \
--deploy-mode cluster \
--py-files p1.py,p2.py \
main.py

字符串

赞(0）回复(0）举报 11个月前

我来回答

pyspark 如何使用virtualenv发送和运行spark-submit

1条答案

相关问题

热门标签

最新问答