Pypspark错误:Java网关进程在Windows中发送其端口号错误之前退出

6rvt4ljy  于 2022-12-19  发布在  Apache
关注(0)|答案(1)|浏览(90)

我正尝试在windows中运行jupyter上的pyspark(通过anaconda)。在尝试创建SparkSession时遇到下面提到的错误。

例外情况:Java网关进程在发送其端口号之前退出

Error snapshot 1
Error snapshot 2
我甚至尝试将JAVA_HOME、SPARK_HOME和HADOOP_HOME路径添加到环境变量中:

  1. JAVA_主目录:C:\Java\数据库-11.0.16.1
  2. SPARK_HOME:C:\Spark\Spark-3.1.3-二进制文件-hadoop 3.2
  3. HADOOP_HOME:C:\Spark\Spark-3.1.3-二进制文件-hadoop 3.2
    即使在这之后,我也面临着同样的问题。

PS:我的pyspark版本是3.3.1,python版本是3.8.6。

gopyfrb3

gopyfrb31#

根据Spark文档,设置master的字符串应该是“local[*]”或“local[N]”(仅使用N个内核)。如果省略master设置,则默认为“local[*]"。

相关问题