嗯，是的，我以前也收到过这些文件夹，但是它们不再出现了。。。我怀疑是因为我对 hadoopConfiguration :

sc.hadoopConfiguration.set("spark.sql.parquet.output.committer.class","org.apache.spark.sql.parquet.DirectParquetOutputCommitter")
sc.hadoopConfiguration.set("mapreduce.fileoutputcommitter.marksuccessfuljobs", "false")
sc.hadoopConfiguration.set("parquet.enable.summary-metadata", "false")

除了将输出直接提交到 S3 ，这些设置阻止了元数据文件的创建，而元数据文件显然没有任何实际用途，只是占用了大量的时间来创建。
我还没有验证这些设置是否会起作用，但我强烈怀疑它们会起作用。总有一天我会查的，除非你比我先查到；）
编辑：
这个 DirectOuputCommitter 在spark 2.x中不再提供。避免spark2.x中对s3进行临时写入的方法是将此设置添加到 Spark Conf :

spark.conf.set("mapreduce.fileoutputcommitter.algorithm.version", "2")

（请注意，它不再设置在 hadoopConfiguration ). 然而，这并不能消除 _$folder$ 文件夹。我还没有解决如何在spark 2.x中禁用它们。。。