sortwithinpartition状态的文档
返回一个新的数据集，每个分区按给定的表达式排序
考虑这个函数最简单的方法是设想第四列（分区id）作为主要排序标准。函数spark\u partition\u id（）打印分区。
例如，如果您只有一个大分区（作为spark用户，您永远不会这么做！）， sortWithinPartition 正常排序：

df.repartition(1)
  .sortWithinPartitions("type","id","time")
  .withColumn("partition", spark_partition_id())
  .show();

印刷品

+----+---+----+---------+
|type| id|time|partition|
+----+---+----+---------+
|   1|  a|   5|        0|
|   1|  a|   6|        0|
|   1|  a|   7|        0|
|   1|  a|   8|        0|
|   2|  b|   1|        0|
|   2|  b|   2|        0|
|   2|  b|   3|        0|
|   2|  b|   4|        0|
+----+---+----+---------+

如果有更多分区，则结果仅在每个分区内排序：

df.repartition(4)
  .sortWithinPartitions("type","id","time")
  .withColumn("partition", spark_partition_id())
  .show();

印刷品

+----+---+----+---------+
|type| id|time|partition|
+----+---+----+---------+
|   2|  b|   1|        0|
|   2|  b|   3|        0|
|   1|  a|   5|        1|
|   1|  a|   6|        1|
|   1|  a|   8|        2|
|   2|  b|   2|        2|
|   1|  a|   7|        3|
|   2|  b|   4|        3|
+----+---+----+---------+

为什么要用 sortWithPartition 而不是排序？ sortWithPartition 不会触发洗牌，因为数据只在执行器中移动。 sort 但是会触发一次洗牌。因此 sortWithPartition 执行速度更快。如果数据被一个有意义的列分区，那么在每个分区内排序就足够了。