我想将pysparkDataframe写入s3路径。目前我在windows10上使用spark-3.0.0预览版、python3.7.4版和hadoop2.7.4版。
aws凭证和端点设置如下（创建的bucket位于us-east-2区域）：

spark.sparkContext.setSystemProperty("com.amazonaws.services.s3.enableV4", 
"true")
spark.sparkContext._jsc.hadoopConfiguration().set("fs.s3a.endpoint", "s3.us-east-2.amazonaws.com")
spark.sparkContext._jsc.hadoopConfiguration().set("fs.s3a.access.key", access_key)
spark.sparkContext._jsc.hadoopConfiguration().set("fs.s3a.secret.key", secret_key)

我想写的Dataframe如下：

r1 = sc.parallelize([(1,'madhu')])
  schema = ['id','name']
  df3 = spark.createDataFrame(r1,schema)
  df3.write.csv("s3a://my_bucket/e.csv")

我遇到以下错误（但在bucket“my bucket”中创建了“e.csv”目录）：

ERROR Utils: Aborting task
  java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

虽然我能够成功地从这个bucket中读取并创建pyspark dataframe-over文件，

df = df2 = spark.read.csv("s3a://my_bucket//b1.csv")