没有更快的方法，adls对于文件列表来说非常慢（尽管它在过去几年中有所改进），Hadoop列表也使用线程，这些线程会快速吸收帐户上的可用连接。因此，值得使用Delta而不是parquet（无论运行时是否使用Databricks）。
查看using events，并在它们到达时做出React，而不是通过启动新作业来计时，或者运行一个作业来查看到达事件并将其存储在日志中以便在以后的批处理中进行处理。如果您使用的是Databricks，请查看autoloader以了解另一种可能的方法。
我建议，如果文件到达/发送也在您的控制之下，您也可以让发送者在处理时发送一个事件。

我现在正在尝试的解决方案是：

val streamingQuery = spark.readStream
.format("binaryFile")
.schema("`path` STRING, `modificationTime` TIMESTAMP, `length` BIGINT, `content` BINARY")
.option("recursiveFileLookup", "true")
.load("my path here")
.filter(col("modificationTime") > "2023-10-30 07:00:00")
.writeStream
.trigger(Trigger.Once)
.foreachBatch (my code goes here on how I copy files)
.option("checkpointLocation", "my path here")
.start()
.awaitTermination()

字符串
现在我已经在一个有几个文件的文件夹上测试了这个，它正在工作。我的下一个问题是：
检查点是否仅注册col（“modificationTime”）>“2023-10-30 07：00：00”的数据，或它在文件夹中读取的所有文件？