我有下面的代码，我希望用于复制数据到达一个文件夹定期：

val streamingQuery = spark.readStream
.format("cloudFiles")
.option("cloudFiles.format", "binaryFile")
.schema("`path` STRING, `modificationTime` TIMESTAMP, `length` BIGINT, `content` BINARY")
.option("recursiveFileLookup", "true")
.load("my path here")
.filter(col("modificationTime") > "2023-10-30 07:00:00")
.writeStream
.trigger(Trigger.AvailableNow())
.foreachBatch (my code goes here on how I copy files)
.option("checkpointLocation", "my path here")
.start()
.awaitTermination()

字符串
我的问题是，在我的情况下，检查点实际上会保存什么？从文件夹中读取的所有内容，还是只保存那些按修改时间过滤的文件？我问这个问题的原因是因为我想让spark避免尝试读取文件夹中的所有文件-这就是为什么我想有一个检查点-然而，我不想在修改日期之前复制所有文件，因为它们不需要。