pysparkerror:py4j.java_gateway：尝试连接到java服务器时出错(127.0.0.1:50532)

laik7k3q 于 2021-07-14 发布在 Spark

关注(0)|答案(4)|浏览(638)

您好，我是与pyspark工作，实现了一个情绪分析项目使用ml包第一次cofde工作良好，但突然变成显示上面提到的错误有人可以帮助请这里是完整的错误描述

ERROR:py4j.java_gateway:An error occurred while trying to connect to the Java server (127.0.0.1:50532)
Traceback (most recent call last):
  File "C:\opt\spark\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.10.6-src.zip\py4j\java_gateway.py", line 852, in _get_connection
    connection = self.deque.pop()
IndexError: pop from an empty deque

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:\opt\spark\spark-2.3.0-bin-hadoop2.7\python\lib\py4j-0.10.6-src.zip\py4j\java_gateway.py", line 990, in start
    self.socket.connect((self.address, self.port))
ConnectionRefusedError: [WinError 10061] Aucune connexion n’a pu être établie car l’ordinateur cible l’a expressément refusée

pyspark py4j apache-spark-ml

来源：https://stackoverflow.com/questions/67201020/pyspark-sparksession-throws-continuous-stream-of-exception-logs-after-close

4条答案

按热度按时间

j5fpnvbx1#

如果你使用的是jupyter nootbook，只需重新启动你的笔记本。如果没有，那就重启pyspark。这应该能解决问题。发生这种情况是因为您使用了太多的收集或其他与内存相关的问题。

赞(0）回复(0）举报 2021-07-14

j7dteeu82#

我在docker容器中尝试使用Pypark时遇到了这个错误。在我的例子中，错误源于我向spark分配了比docker所能访问的更多的资源。

赞(0）回复(0）举报 2021-07-14

dxpyg8gm3#

我在使用colab时遇到了同样的问题。我终止了当前会话并重新连接。对我有用！

赞(0）回复(0）举报 2021-07-14

ztmd8pv54#

为spark添加更多资源。例如，如果您使用的是本地模式，那么以下配置就足够了：

spark = SparkSession.builder \
.appName('app_name') \
.master('local[*]') \
.config('spark.sql.execution.arrow.pyspark.enabled', True) \
.config('spark.sql.session.timeZone', 'UTC') \
.config('spark.driver.memory','32G') \
.config('spark.ui.showConsoleProgress', True) \
.config('spark.sql.repl.eagerEval.enabled', True) \
.getOrCreate()

赞(0）回复(0）举报 2021-07-14

我来回答

pysparkerror:py4j.java_gateway：尝试连接到java服务器时出错(127.0.0.1:50532)

4条答案

相关问题

热门标签

最新问答