pysparkerror:py4j.java_gateway:尝试连接到java服务器时出错(127.0.0.1:50532)

laik7k3q  于 2021-07-14  发布在  Spark
关注(0)|答案(4)|浏览(698)

您好,我是与pyspark工作,实现了一个情绪分析项目使用ml包第一次cofde工作良好,但突然变成显示上面提到的错误有人可以帮助请这里是完整的错误描述

ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:50532)
Traceback (most recent call last):
  File "C:\opt\spark\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.10.6-src.zip\py4j\java_gateway.py", line 852, in _get_connection
    connection = self.deque.pop()
IndexError: pop from an empty deque

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\opt\spark\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.10.6-src.zip\py4j\java_gateway.py", line 990, in start
    self.socket.connect((self.address, self.port))
ConnectionRefusedError: [WinError 10061] Aucune connexion n’a pu être établie car l’ordinateur cible l’a expressément refusée
j5fpnvbx

j5fpnvbx1#

如果你使用的是jupyter nootbook,只需重新启动你的笔记本。如果没有,那就重启pyspark。这应该能解决问题。发生这种情况是因为您使用了太多的收集或其他与内存相关的问题。

j7dteeu8

j7dteeu82#

我在docker容器中尝试使用Pypark时遇到了这个错误。在我的例子中,错误源于我向spark分配了比docker所能访问的更多的资源。

dxpyg8gm

dxpyg8gm3#

我在使用colab时遇到了同样的问题。我终止了当前会话并重新连接。对我有用!

ztmd8pv5

ztmd8pv54#

为spark添加更多资源。例如,如果您使用的是本地模式,那么以下配置就足够了:

spark = SparkSession.builder \
.appName('app_name') \
.master('local[*]') \
.config('spark.sql.execution.arrow.pyspark.enabled', True) \
.config('spark.sql.session.timeZone', 'UTC') \
.config('spark.driver.memory','32G') \
.config('spark.ui.showConsoleProgress', True) \
.config('spark.sql.repl.eagerEval.enabled', True) \
.getOrCreate()

相关问题