我正尝试在windows中运行jupyter上的pyspark(通过anaconda)。在尝试创建SparkSession时遇到下面提到的错误。
例外情况:Java网关进程在发送其端口号之前退出
Error snapshot 1
Error snapshot 2
我甚至尝试将JAVA_HOME、SPARK_HOME和HADOOP_HOME路径添加到环境变量中:
- JAVA_主目录:C:\Java\数据库-11.0.16.1
- SPARK_HOME:C:\Spark\Spark-3.1.3-二进制文件-hadoop 3.2
- HADOOP_HOME:C:\Spark\Spark-3.1.3-二进制文件-hadoop 3.2
即使在这之后,我也面临着同样的问题。
PS:我的pyspark版本是3.3.1,python版本是3.8.6。
1条答案
按热度按时间gopyfrb31#
根据Spark文档,设置master的字符串应该是“local[*]”或“local[N]”(仅使用N个内核)。如果省略master设置,则默认为“local[*]"。