scala 为什么连接两个Spark Dataframe 失败,除非我向两者都添加“.as(‘alias)”?

5rgfhyps  于 2022-11-09  发布在  Scala
关注(0)|答案(1)|浏览(163)

假设有两个Spark DataFrame,无论出于什么原因,我们都想加入:

val df1 = Seq(("A", 1), ("B", 2), ("C", 3)).toDF("agent", "in_count")
val df2 = Seq(("A", 2), ("C", 2), ("D", 2)).toDF("agent", "out_count")

可以使用如下代码完成此操作:

val joinedDf = df1.as('d1).join(df2.as('d2), ($"d1.agent" === $"d2.agent"))

// Result:
val joinedDf.show

+-----+--------+-----+---------+
|agent|in_count|agent|out_count|
+-----+--------+-----+---------+
|    A|       1|    A|        2|
|    C|       3|    C|        2|
+-----+--------+-----+---------+

现在,我不明白的是,为什么它只在我使用别名df1.as(d1)df2.as(d2)时才起作用?我可以想象,如果我直截了当地写成这样,专栏之间会有名字冲突

val joinedDf = df1.join(df2, ($"df1.agent" === $"df2.agent")) // fails

但是,我不明白为什么我不能将.as(alias)与两个中的一个df一起使用:

df1.as('d1).join(df2, ($"d1.agent" === $"df2.agent")).show()

失败的原因是

org.apache.spark.sql.AnalysisException: cannot resolve '`df2.agent`' given input columns: [agent, in_count, agent, out_count];;
'Join Inner, (agent#25 = 'df2.agent)
:- SubqueryAlias d1
:  +- Project [_1#22 AS agent#25, _2#23 AS in_count#26]
:     +- LocalRelation [_1#22, _2#23]
+- Project [_1#32 AS agent#35, _2#33 AS out_count#36]
   +- LocalRelation [_1#32, _2#33]

为什么最后一个例子是无效的?

k97glaaz

k97glaaz1#

你好,当你使用别名DataFrame被转换成org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] = [agent: string, in_count: int],所以你可以在那里使用$"d1.agent"
如果您想加入DataFrame,您可以这样做:

scala> val joinedDf = df1.join(df2, (df1("agent") === df2("agent")))
joinedDf: org.apache.spark.sql.DataFrame = [agent: string, in_count: int ... 2 more fields]

scala> joinedDf.show
+-----+--------+-----+---------+
|agent|in_count|agent|out_count|
+-----+--------+-----+---------+
|    A|       1|    A|        2|
|    C|       3|    C|        2|
+-----+--------+-----+---------+

相关问题