假设有两个Spark DataFrame,无论出于什么原因,我们都想加入:
val df1 = Seq(("A", 1), ("B", 2), ("C", 3)).toDF("agent", "in_count")
val df2 = Seq(("A", 2), ("C", 2), ("D", 2)).toDF("agent", "out_count")
可以使用如下代码完成此操作:
val joinedDf = df1.as('d1).join(df2.as('d2), ($"d1.agent" === $"d2.agent"))
// Result:
val joinedDf.show
+-----+--------+-----+---------+
|agent|in_count|agent|out_count|
+-----+--------+-----+---------+
| A| 1| A| 2|
| C| 3| C| 2|
+-----+--------+-----+---------+
现在,我不明白的是,为什么它只在我使用别名df1.as(d1)
和df2.as(d2)
时才起作用?我可以想象,如果我直截了当地写成这样,专栏之间会有名字冲突
val joinedDf = df1.join(df2, ($"df1.agent" === $"df2.agent")) // fails
但是,我不明白为什么我不能将.as(alias)
与两个中的一个df一起使用:
df1.as('d1).join(df2, ($"d1.agent" === $"df2.agent")).show()
失败的原因是
org.apache.spark.sql.AnalysisException: cannot resolve '`df2.agent`' given input columns: [agent, in_count, agent, out_count];;
'Join Inner, (agent#25 = 'df2.agent)
:- SubqueryAlias d1
: +- Project [_1#22 AS agent#25, _2#23 AS in_count#26]
: +- LocalRelation [_1#22, _2#23]
+- Project [_1#32 AS agent#35, _2#33 AS out_count#36]
+- LocalRelation [_1#32, _2#33]
为什么最后一个例子是无效的?
1条答案
按热度按时间k97glaaz1#
你好,当你使用别名
DataFrame
被转换成org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] = [agent: string, in_count: int]
,所以你可以在那里使用$"d1.agent"
。如果您想加入DataFrame,您可以这样做: