我正在运行aws emr cluster来运行spark作业。为了使用s3 bucket，hadoop配置中设置了访问密钥、秘密密钥、enableserversideencryption和用于加密的算法。请看下面的代码 val hadoopConf = sc.hadoopConfiguration; hadoopConf.set("fs.s3.impl", "org.apache.hadoop.fs.s3native.NativeS3FileSystem") hadoopConf.set("fs.s3.awsAccessKeyId", "") hadoopConf.set("fs.s3.awsSecretAccessKey", "") hadoopConf.set("fs.s3.enableServerSideEncryption", "true") hadoopConf.set("fs.s3.serverSideEncryptionAlgorithm","AES256") 在上述配置下，spark程序能够从s3 bucket读取数据，进行处理。但当它试图将结果保存到s3时失败，s3强制要求数据必须加密。如果bucket允许未加密的数据，则会成功地保存未加密的数据。
即使集群是使用强制服务器端加密的选项构建的，也会发生这种情况 --emrfs Encryption=ServerSide,Args=[fs.s3.serverSideEncryptionAlgorithm=AES256] .
从emr上的hdfs到s3的hadoop distcp也失败了。但是，当设置--s3serversideencryption选项时，s3 dist copy（aws版本hdfs distcp）可以成功工作。
但是，ec2示例具有所需的角色权限，可以通过服务器端加密将数据上载到同一个bucket，而不使用任何用户访问密钥。请参阅下面的命令示例。如果在下面的命令中省略-sse，它将抛出一个“拒绝访问错误” aws s3 cp test.txt s3://encrypted-bucket/ —sse 如果有人能够帮助进行spark/hadoop中所需的配置，以使用服务器端加密将数据保存到awss3，这将非常有帮助。