假设我们有两个Dataframe
df1 = spark.createDataFrame([
Row(a=107831, f="test1"),
Row(a=125231, f=None),
])
df2 = spark.createDataFrame([
Row(a=107831, f=None),
Row(a=125231, f="test2"),
])
如何组合这两个Dataframe并获得一个具有以下df的Dataframe?
df=spark.createDataFrame([
Row(a=107831, f="test1"),
Row(a=125231, f="test2"),
])
2条答案
按热度按时间myss37ts1#
连接上的两个Dataframe
a
列,然后使用coalsce
功能。yh2wf1be2#
我做pyspark已经有一段时间了,你可以通过这样做得到你想要的。