hadoop Apache Spark ConnectionRefusedError:[WinError 10061]无法建立连接,因为目标计算机主动拒绝连接

hkmswyz6  于 12个月前  发布在  Hadoop
关注(0)|答案(1)|浏览(255)

我在运行此代码时遇到ConnectionRefusedError:

spark = SparkSession.builder.getOrCreate()

字符串
我安装了Apache Spark 3.4.0Java 20.0.1,并使用了hadoop 3.3的winutils.exe。
在C驱动器中,我为Spark,Hadoop和Java创建了三个文件夹。
目录如下所示:

C:\spark\spark-3.4.0-bin-hadoop3
C:\hadoop\bin\winutils.exe
C:\java\jdk


我添加了这样的环境变量:

HADOOP_HOME = C:\hadoop
JAVA_HOME = C:\java\jdk
SPARK_HOME = C:\spark\spark-3.4.0-bin-hadoop3


这是截图。


的数据



我运行了以下片段。

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

# Load Dataset A and Dataset B as Spark DataFrames
dataset_A = spark.read.csv('A.csv', header=True, inferSchema=True)
dataset_B = spark.read.csv('B.csv', header=True, inferSchema=True)

merged_data = dataset_A.join(dataset_B, on='key', how='left')


直到这里都没有问题。但是当我运行这个:

merged_data_pandas = merged_data.toPandas()


然后抛出连接错误消息。
我应该修改配置文件吗?

ojsjcaue

ojsjcaue1#

有时候spark会在本地会话上冻结,这种情况发生了好几次,这有助于重新启动IDE(我使用的是IntelliJ)让它再次运行。一个额外的选项可以是验证spark使用的端口是打开的,没有被防火墙阻止。

相关问题