这是我在EMR上启动spark-job时为解决此问题所做的工作：

val hdfs = FileSystem.get(new java.net.URI(s"s3a://${s3_bucket}"), sparkSession.sparkContext.hadoopConfiguration)

请确保使用存储桶的名称替换s3_bucket
我希望这对那些

hadoop文件系统api不提供对S3的开箱即用支持。有两种hadoop文件系统api的S3实现：S3 A和S3 N。S3 A似乎是首选的实现。要使用它，你必须做几件事：
1.将aws-java-sdk-bundle.jar添加到类路径中。
1.创建文件系统时，请在文件系统的配置中包括以下属性的值：

fs.s3a.access.key
fs.s3a.secret.key

1.在S3上指定路径时，不要使用s3://，而应使用s3a://。

**注意：**创建一个简单的用户，先尝试基本的身份验证。可以让它与AWS更高级的临时凭证机制一起工作，但这有点复杂，我不得不对FileSystem代码做一些修改，以便让它在我尝试时工作。

信息来源为here

尝试设置文件系统的默认URI：

FileSystem.setDefaultUri(spark.sparkContext.hadoopConfiguration, new URI(s"s3a://$s3bucket"))

使用指定密钥和机密后

fs.s3a.access.key
fs.s3a.secret.key

并获取文件系统，如下所示：

val hdfs = FileSystem.get(new java.net.URI(s"s3a://${s3_bucket}"), sparkSession.sparkContext.hadoopConfiguration)

我仍然会收到错误
java.lang.IllegalArgumentException: Wrong FS: s3a:// ... , expected: file:///
要检查默认文件系统，可以查看上面创建的hdfs FileSystem：hadoopfs.getUri对我来说仍然返回file:///
为了使其正确工作，* 在 * 运行FileSystem.get之前，设置文件系统的默认URI。

val s3URI = s"s3a://$s3bucket"
FileSystem.setDefaultUri(spark.sparkContext.hadoopConfiguration, new URI(s3URI))

val hdfs: FileSystem = FileSystem.get(spark.sparkContext.hadoopConfiguration)

EMR被配置为避免在代码或作业配置中使用键。问题是在示例中如何创建FileSystem。
Hadoop创建的默认文件系统是用于hdfs模式的文件系统。
因此，如果path模式为s3://，则下一个代码将不起作用。

val fs = FileSystem.get(sc.hadoopConfiguration)
val status = fs.listStatus(new Path(path))

要创建正确的文件系统，您需要将路径与要使用的架构一起使用。例如，类似以下内容：

val conf = sc.hadoopConfiguration
val pObj = new Path(path)
val status = pObj.getFileSystem(conf).listStatus(pObj)

从Hadoop代码中：
在FileSystem.get中的实现

public static FileSystem get(Configuration conf) throws IOException {
      return get(getDefaultUri(conf), conf);
   }

使用Path.getFileSystem实现：

public FileSystem getFileSystem(Configuration conf) throws IOException {
      return FileSystem.get(this.toUri(), conf);
   }