scala Spark删除/移除镶嵌地板上超过保留期的分区

os8fio9y 于 2022-11-09 发布在 Scala

关注(0)|答案(2)|浏览(123)

数据正以拼图格式写入按日期分区的ADLS Gen2位置

deltaDFFinal.write
      .mode(SaveMode.Append)
      .format("parquet")
      .partitionBy("Date")
      .save(ADLSGen2Path)

数据将写入具有如下分区名称的文件夹中
日期=2022-02-09
日期=2022-02-10
。。
我想删除超过7天的分区，并希望保留追加作为逻辑，因为数据量大，而不是覆盖

2条答案

在保持append写入模式的同时删除过期分区可能无法直接实现。这是一个与数据生命周期相关的问题，建议的做法是定期执行清理作业，如alter table ... drop partition ...

Spk.sql(“从delta.<delta path> WHERE DATE<上一个日期删除”)