您的数据框

df_1
+---+------+
| ID|Scores|
+---+------+
|  A|    20|
|  A|    40|
|  A|    60|
|  B|    10|
|  B|    90|
+---+------+

df_2
+---+------+
| ID|Scores|
+---+------+
|  A|    60|
|  B|    90|
+---+------+

1.在连接之前，将Scores列名从 df_1 重命名为old_scores。

df_1 = df_1.withColumnRenamed("Scores", "old_scores")

1.使用内部联接来匹配使用公共键列的两个DataFrame。

df = df_1.join(df_2, "ID")

1.从df_1删除old_scores列

df.drop("old_scores").show()

输出：

+---+------+
| ID|Scores|
+---+------+
|  A|    60|
|  A|    60|
|  A|    60|
|  B|    90|
|  B|    90|
+---+------+