我在运行此代码时遇到ConnectionRefusedError:
spark = SparkSession.builder.getOrCreate()
字符串
我安装了Apache Spark 3.4.0
,Java 20.0.1
,并使用了hadoop 3.3的winutils.exe。
在C驱动器中,我为Spark,Hadoop和Java创建了三个文件夹。
目录如下所示:
C:\spark\spark-3.4.0-bin-hadoop3
C:\hadoop\bin\winutils.exe
C:\java\jdk
型
我添加了这样的环境变量:
HADOOP_HOME = C:\hadoop
JAVA_HOME = C:\java\jdk
SPARK_HOME = C:\spark\spark-3.4.0-bin-hadoop3
型
这是截图。
的数据
的
我运行了以下片段。
from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()
# Load Dataset A and Dataset B as Spark DataFrames
dataset_A = spark.read.csv('A.csv', header=True, inferSchema=True)
dataset_B = spark.read.csv('B.csv', header=True, inferSchema=True)
merged_data = dataset_A.join(dataset_B, on='key', how='left')
型
直到这里都没有问题。但是当我运行这个:
merged_data_pandas = merged_data.toPandas()
型
然后抛出连接错误消息。
我应该修改配置文件吗?
1条答案
按热度按时间ojsjcaue1#
有时候spark会在本地会话上冻结,这种情况发生了好几次,这有助于重新启动IDE(我使用的是IntelliJ)让它再次运行。一个额外的选项可以是验证spark使用的端口是打开的,没有被防火墙阻止。