我正在安装pyspark。遵循这个线索,特别是onecricketeer和zero323的建议。
我做了以下工作:
1-在anaconda3中安装pyspark conda install -c conda-forge pyspark
2-在我的电脑里设置这个 .bashrc
文件:
function snotebook ()
{
# Spark path (based on your computer)
SPARK_PATH=~/spark-3.0.1-bin-hadoop3.2
export ANACONDA_ROOT=~/anaconda3
export PYSPARK_DRIVER_PYTHON=$ANACONDA_ROOT/bin/ipython
export PYSPARK_PYTHON=$ANACONDA_ROOT/bin/python
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH
# For python 3 users, you have to add the line below or you will get an error
# export PYSPARK_PYTHON=python3
$SPARK_PATH/bin/pyspark --master local[2]
}
我有python3.8.2,anaconda3。我用hadoop3.2下载了spark3.0.1。
这个 .bashrc
安装程序部分遵循本文的中间部分
当我试着 import pyspark as ps
,我明白了 No module named 'pyspark'
.
我错过了什么?谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!