python3.x启动pysparkshell时，env jupyter在mac中没有这样的文件错误

t5fffqht 于 2021-05-29 发布在 Spark

关注(0)|答案(1)|浏览(501)

我按照本指南安装了pyspark，而不是pip3，使用brew在我的mac机器上安装spark，并https://medium.com/swlh/pyspark-on-macos-installation-and-use-31f84ca61400 一切都很顺利，我打开了PySparkShell，运行了spark代码。
后来，当我发现我的默认shell是zsh时，我将bash中的所有内容都移动到了zsh，并尝试执行pyspark命令，但得到了错误env:jupyter:没有这样的文件或目录。pyspark如何要求jupyter？为什么？
如此配置

PYSPARK_DRIVER_PYTHON=path/to/jupyter
PYSPARK_DRIVER_PYTHON_OPTS=notebook.

然后它开始推出jupyter笔记本而不是pyspark shell。
如果没有任何jupyter笔记本，我们如何运行pyspark shell？为什么spark需要jupyter在shell模式下运行？
下面是我目前的.zshrc

export PATH="/usr/local/bin:/usr/local/sbin:~/bin:$PATH"
export PATH=/usr/local/mysql/bin:$PATH
export JAVA_HOME="$(/usr/libexec/java_home)"
alias python='python3'
alias python=/usr/local/bin/python3.7
alias pip=/usr/local/bin/pip3
export SPARK_HOME=/usr/local/Cellar/apache-spark/2.4.5/libexec
export PATH=$SPARK_HOME/bin:$PATH
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

apache-spark pyspark jupyter-notebook python-3.x macos

来源：https://stackoverflow.com/questions/62227263/starting-pyspark-shell-gives-env-jupyter-no-such-file-error-in-mac

1条答案

按热度按时间

l2osamch1#

我可以通过对~/.zshrc进行以下更改来解决这个问题，它开始运行良好。

alias python='python3'
alias python=/usr/local/bin/python3.7
alias pip=/usr/local/bin/pip3

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.4.5/libexec
export PATH=$PATH:$SPARK_HOME/bin

export PYSPARK_PYTHON=/usr/local/bin/python3.7
export PYTHONPATH=$SPARK_HOME/libexec/python:$SPARK_HOME/libexec/python/build:$PYTHONPATH

赞(0）回复(0）举报 2021-05-29

我来回答

python3.x启动pysparkshell时，env jupyter在mac中没有这样的文件错误

1条答案

相关问题

热门标签

最新问答