在虚拟环境中安装find spark

jdgnovmf  于 2021-05-29  发布在  Spark
关注(0)|答案(1)|浏览(707)

我正在使用 pyenv 创建虚拟环境。
我的pyenv包位于项目下 bio/.pyenv/versions/bio/lib/python3.7/site-packages 我安装了 findspark 在下面使用

pip install findspark  #it was installed successfully.

我可以在packages目录中看到以下文件。

findspark-1.4.2.dist-info
findspark.py

但是,当我从pyenv目录启动jupyter笔记本时,会收到一条错误消息

import findspark
findspark.init()

导入错误:没有名为findspark的模块
你能帮我理解为什么在pip安装成功的情况下我们会出现这个错误吗?
我的 which Jupyter 返回下面的路径(在终端和jupyter笔记本中)
`/主页/d/.pyenv/shimmes/jupyter

lfapxunr

lfapxunr1#

jupyter笔记本不会从 virtualenv 即使你激活了 virtualenv 在终端会话中。
如果你 import sys 然后打印出来 sys.executable ,您会意识到python可执行文件的第一个值不是 virtualenv .
你需要添加 pythonvirtualenv 作为内核。

$ virtualenv -p python3 pysparkvenv
$ source pysparkvenv/bin/activate
(pysparkvenv) $ pip install findspark jupiter  # etc.

(pysparkvenv) $ python -m ipykernel install --user

(pysparkvenv) $ which python
/home/disciple/Desktop/sample/pysparkvenv/bin/python

# make the necessary change to the python path

(pysparkvenv) $ sudo /home/disciple/Desktop/sample/pysparkvenv/bin/python -m ipykernel install --name pysparkvenv

这将创建一个新的内核,该内核将在下拉列表中提供。
您可以检查内核是否是这样创建的

$ jupyter kernelspec list
Available kernels:
  python3        /home/disciple/.local/share/jupyter/kernels/python3
  pysparkvenv    /usr/local/share/jupyter/kernels/pysparkvenv

之后,你就可以发射了 jupyter notebook 从任何地方和一个新的内核将是可用的。选择此选项,您将在virtualenv中安装所有模块。

相关问题