无法在virtualenv中加载pyspark

yjghlzjz 于 2023-01-08 发布在 Spark

关注(0)|答案(3)|浏览(138)

我已经在python virtualenv中安装了pyspark。我还在virtualenv中安装了jupyterlab，它是新发布的http://jupyterlab.readthedocs.io/en/stable/getting_started/installation.html。我无法在jupyter-notebook中启动pyspark，因为我有可用的SparkContext变量。

3条答案

首先启动virtualenv

source venv/bin/activate
export SPARK_HOME={path_to_venv}/lib/python2.7/site-packages/pyspark
export PYSPARK_DRIVER_PYTHON=jupyter-lab

在此之前我希望你已经做到：虚拟环境中的pip install pyspark和pip install jupyterlab
要进行检查，请在jupyterlab打开后，在jupyterlab的框中键入sc，您应该可以使用SparkContext对象，输出应该如下所示：

SparkContext
Spark UI
Version
v2.2.1
Master
local[*]
AppName
PySparkShell

您需要将$PYSPARK_PYTHON与虚拟环境一起导出

export PYSPARK_PYTHON={path/to/your/virtualenv}/bin/python

我的案子解决了。

在我使用windows、python3.7.4和spark 3.1.1时，问题是pyspark查找的python3.exe并不存在，我复制了venv/Scripts/python.exe并重命名为venv/Scripts/python3.exe