在Windows中为pyspark设置环境变量

oknwwptz  于 2023-11-16  发布在  Spark
关注(0)|答案(2)|浏览(137)

我在笔记本电脑上安装了Spark。我可以执行spark-shell命令并打开scala shell,如下所示:

C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>spark-shell
scala>

字符串
但是当我尝试执行pyspark命令时:

C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>pyspark


我收到以下错误消息:
“python”不被识别为内部或外部命令
我确实手动设置了环境User 'Path'变量。
“;C:\Python 27”
我重新启动笔记本电脑,仍然得到同样的错误。有人能帮助我如何解决这个问题吗?我没有正确更新环境变量吗?
版本:Spark:1.6.2 Windows:8.1

l5tcr1uw

l5tcr1uw1#

Spark文档可用。不要害怕,阅读它。
http://spark.apache.org/docs/1.6.0/configuration.html#environment-variables
某些Spark设置可以通过环境变量进行配置,这些变量在Windows上从... conf\spark-env.cmd读取
...

PYSPARK_PYTHON Python二进制可执行文件,用于PySpark的驱动程序和工作程序(如果可用,默认值为python2.7,否则为python)。
PYSPARK_DRIVER_PYTHON Python二进制可执行文件,仅用于驱动程序中的PySpark(默认值为PYSPARK_PYTHON)。

试试这样的东西:

set PYSPARK_PYTHON=C:\Python27\bin\python.exe
pyspark

字符串

31moq8wy

31moq8wy2#

问题是当Python可执行文件的路径包含空格时,这会混淆Windows上的pyspark。
确保python.exe在PATH中,然后简单地声明PYSPARK_PYTHON=python.exe,这应该可以让它工作。

相关问题