安装pyspark的最新配置是什么?

4xrmg8kj  于 2021-05-24  发布在  Spark
关注(0)|答案(0)|浏览(231)

我正在安装pyspark。遵循这个线索,特别是onecricketeer和zero323的建议。
我做了以下工作:
1-在anaconda3中安装pyspark conda install -c conda-forge pyspark 2-在我的电脑里设置这个 .bashrc 文件:

function snotebook () 
{

# Spark path (based on your computer)

SPARK_PATH=~/spark-3.0.1-bin-hadoop3.2

export ANACONDA_ROOT=~/anaconda3
export PYSPARK_DRIVER_PYTHON=$ANACONDA_ROOT/bin/ipython
export PYSPARK_PYTHON=$ANACONDA_ROOT/bin/python
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH

# For python 3 users, you have to add the line below or you will get an error

# export PYSPARK_PYTHON=python3

$SPARK_PATH/bin/pyspark --master local[2]
}

我有python3.8.2,anaconda3。我用hadoop3.2下载了spark3.0.1。
这个 .bashrc 安装程序部分遵循本文的中间部分
当我试着 import pyspark as ps ,我明白了 No module named 'pyspark' .
我错过了什么?谢谢。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题