好吧，你可以把这个方法应用到你的最终连接Dataframe上。
您还应该将Dataframe持久化为一个文件，以保证顺序，因为重新评估可能会创建不同的顺序。

一种策略可以是首先只选择数据集的唯一\u键，然后只对该数据集应用行\u数函数。因为您是从一个大的数据集中选择一个列，所以在单个分区中容纳该列的可能性更高。

val dfKey = df.select("uniqueKey")
dfKey.createOrUpdateTempTable("dfKey")
val dfWithRowNum = spark.sql(select dfKey*, row_number() as row_number OVER (ORDER BY 1))
// save dfWithRowNum

完成对uniquekey的行号操作后；保存Dataframe。现在在下一阶段中，将这个Dataframe与更大的Dataframe连接起来，并将row\u number列附加到该Dataframe上。

dfOriginal.createOrUpdateTempTable("dfOriginal")
dfWithRowNum.createOrUpdateTempTable("dfWithRowNum")
val joined = spark.sql("select dfOriginal.* from dfOriginal join dfWithRowNum on dfOriginal.uniqueKey = dfWithRowNum.uniqueKey")
// save joined

现在您可以查询

SELECT * FROM joineddataset WHERE row between 1 AND 100

对于persist with memory\ U盘，我发现偶尔会因为内存不足而失败。我宁愿只在性能受到影响的地方使用disk\u，尽管执行是有保证的。