我在笔记本电脑上安装了Spark。我可以执行spark-shell
命令并打开scala shell,如下所示:
C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>spark-shell
scala>
字符串
但是当我尝试执行pyspark
命令时:
C:\Spark1_6\spark-1.6.0-bin-hadoop2.6\bin>pyspark
型
我收到以下错误消息:
“python”不被识别为内部或外部命令
我确实手动设置了环境User 'Path'变量。
“;C:\Python 27”
我重新启动笔记本电脑,仍然得到同样的错误。有人能帮助我如何解决这个问题吗?我没有正确更新环境变量吗?
版本:Spark:1.6.2 Windows:8.1
2条答案
按热度按时间l5tcr1uw1#
Spark文档可用。不要害怕,阅读它。
http://spark.apache.org/docs/1.6.0/configuration.html#environment-variables
某些Spark设置可以通过环境变量进行配置,这些变量在Windows上从...
conf\spark-env.cmd
读取...
PYSPARK_PYTHON
Python二进制可执行文件,用于PySpark的驱动程序和工作程序(如果可用,默认值为python2.7
,否则为python
)。PYSPARK_DRIVER_PYTHON
Python二进制可执行文件,仅用于驱动程序中的PySpark(默认值为PYSPARK_PYTHON)。试试这样的东西:
字符串
31moq8wy2#
问题是当Python可执行文件的路径包含空格时,这会混淆Windows上的pyspark。
确保python.exe在PATH中,然后简单地声明
PYSPARK_PYTHON=python.exe
,这应该可以让它工作。