我目前正在本地模式下运行PySpark。我希望能够通过S3 Directory Committer高效地将parquet文件输出到S3。这个PySpark示例使用的是本地磁盘，而不是HDFS，因为它是通过spark-submit --master local[*]提交的。
我可以在不启用目录提交程序的情况下成功地写入我的S3示例。但是，这涉及到将暂存文件写入S3并对其进行重命名，这是缓慢且不可靠的。我希望Spark写入我的本地文件系统作为临时存储，然后复制到S3。
在我的PySpark conf中有以下配置：

self.spark.conf.set("spark.sql.execution.arrow.pyspark.enabled", "true")
self.spark.conf.set("spark.hadoop.fs.s3a.committer.name", "directory")
self.spark.conf.set("spark.sql.sources.commitProtocolClass", "org.apache.spark.internal.io.cloud.PathOutputCommitProtocol")
self.spark.conf.set("spark.sql.parquet.output.committer.class", "org.apache.spark.internal.io.cloud.BindingParquetOutputCommitter")

我的spark-submit命令如下所示：

spark-submit --master local[*] --py-files files.zip --packages com.amazonaws:aws-java-sdk:1.11.375,org.apache.hadoop:hadoop-aws:3.2.0,org.apache.spark.internal.io.cloud.PathOutputCommitProtocol --driver-memory 4G --name clean-raw-recording_data main.py

spark-submit出现以下错误，这是由于所需的JAR不存在：

java.lang.ClassNotFoundException: org.apache.spark.internal.io.cloud.PathOutputCommitProtocol

我的问题是：
1.为了能够引用PathOutputCommitProtocol，我需要在spark-submit --packages中包含哪个JAR（具体地说，maven坐标）？
1.一旦我有了（1）工作，我是否可以使用PySpark的本地模式在本地文件系统上暂存临时文件？或者HDFS是一个严格的要求？
我需要它在本地模式下运行，而不是在集群模式下运行。

编辑：

我得到了这个工作与以下配置：使用pyspark版本3.1.2和软件包
org.apache.spark:spark-hadoop-cloud_2.12:3.1.1.3.1.7270.0-253 .
我需要使用spark-submit的--repositories选项添加cloudera存储库：

spark-submit --repositories https://repository.cloudera.com/artifactory/cloudera-repos/ --packages com.amazonaws:aws-java-sdk:1.11.375,org.apache.hadoop:hadoop-aws:3.2.0,org.apache.spark:spark-hadoop-cloud_2.12:3.1.1.3.1.7270.0-253