我已经在windows上安装了pyspark,直到昨天都没有问题。我正在使用 windows 10
, PySpark version 2.3.3(Pre-build version)
, java version "1.8.0_201"
. 昨天,当我尝试创建一个spark会话时,我遇到了以下错误。
Exception Traceback (most recent call last)
<ipython-input-2-a9ef4ac1a07d> in <module>
----> 1 spark = SparkSession.builder.appName("Hello").master("local").getOrCreate()
C:\spark-2.3.3-bin-hadoop2.7\python\pyspark\sql\session.py in getOrCreate(self)
171 for key, value in self._options.items():
172 sparkConf.set(key, value)
--> 173 sc = SparkContext.getOrCreate(sparkConf)
174 # This SparkContext may be an existing one.
175 for key, value in self._options.items():
C:\spark-2.3.3-bin-hadoop2.7\python\pyspark\context.py in getOrCreate(cls, conf)
361 with SparkContext._lock:
362 if SparkContext._active_spark_context is None:
--> 363 SparkContext(conf=conf or SparkConf())
364 return SparkContext._active_spark_context
365
C:\spark-2.3.3-bin-hadoop2.7\python\pyspark\context.py in __init__(self, master, appName, sparkHome, pyFiles, environment, batchSize, serializer, conf, gateway, jsc, profiler_cls)
127 " note this option will be removed in Spark 3.0")
128
--> 129 SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
130 try:
131 self._do_init(master, appName, sparkHome, pyFiles, environment, batchSize, serializer,
C:\spark-2.3.3-bin-hadoop2.7\python\pyspark\context.py in _ensure_initialized(cls, instance, gateway, conf)
310 with SparkContext._lock:
311 if not SparkContext._gateway:
--> 312 SparkContext._gateway = gateway or launch_gateway(conf)
313 SparkContext._jvm = SparkContext._gateway.jvm
314
C:\spark-2.3.3-bin-hadoop2.7\python\pyspark\java_gateway.py in launch_gateway(conf)
44 :return: a JVM gateway
45 """
---> 46 return _launch_gateway(conf)
47
48
C:\spark-2.3.3-bin-hadoop2.7\python\pyspark\java_gateway.py in _launch_gateway(conf, insecure)
106
107 if not os.path.isfile(conn_info_file):
--> 108 raise Exception("Java gateway process exited before sending its port number")
109
110 with open(conn_info_file, "rb") as info:
Exception: Java gateway process exited before sending its port number
我确实检查了github上的pyspark问题以及与之相关的stackoverflow答案,但问题没有得到解决。
我尝试了以下方法:
1.)尝试卸载、安装和更改java安装目录。目前,我的java安装目录是 C:/Java/
. pyspark:异常:java网关进程在向驱动程序发送其端口号之前退出
2.)试装 PYSPARK_SUBMIT_ARGS
,但毫无帮助。
请告诉我可能的解决办法。
3条答案
按热度按时间xkrw2x1b1#
请确保java\u home环境变量不包含任何空格,否则可能会抛出错误,我删除了相同的内容,它对我来说非常有用。下面是一段用python检查javau主页的简短代码
导入os打印(os.environ['java\u home'])
ruarlubt2#
我认为您需要再次卸载java和pyspark,然后重新安装java和pyspark。
然后进入系统>高级系统设置>环境变量>然后在用户变量>路径和系统变量>路径中编辑java主页。
3okqufwl3#
在浏览了导致错误的代码之后,我发现这些可能是问题所在。
检查系统中是否定义了环境变量temp。在此处输入图像描述
如果不是,请定义一个。
如果定义了temp,请确保文件夹“确实”存在并且具有完全访问权限。
基本上,引发异常的代码是寻找一个文件夹来在系统上创建临时文件。你必须确保他们在场。