背景
我一直在为自己准备一个灵活的设置，以便在aws上使用带docker swarm模式的spark。我使用的docker映像被配置为使用最新的spark，它在hadoop2.7.3中的版本是2.1.0，可以在jupyter/pyspark笔记本上找到。
这是可行的，我刚刚经历了测试出各种连接路径，我计划使用。我遇到的问题是关于与s3交互的正确方式的不确定性。我跟踪了如何提供spark的依赖关系，以便使用 s3a 协议，vs s3n 协议。
我终于看到了hadoopaws指南，并认为我正在关注如何提供配置。然而，我仍然收到 400 Bad Request 这个问题描述了如何通过定义端点来修复它，我已经做过了。
结果我开了车，离标准配置太远了 us-east-2 ，使我无法确定jar文件是否有问题。为了消除地区问题，我把事情重新安排在常规的 us-east-1 我终于可以和 s3a . 所以我把问题缩小到这个地区，但我认为我在做其他地区所需要的一切。
问题
在spark中使用hadoop配置变量的正确方法是什么 us-east-2 ?
注意：这个例子使用本地执行模式来简化事情。

import os
import pyspark

在创建上下文后，我可以在笔记本的控制台中看到这些下载，添加这些内容使我从完全崩溃到出现错误请求。

os.environ['PYSPARK_SUBMIT_ARGS'] = '--packages com.amazonaws:aws-java-sdk:1.7.4,org.apache.hadoop:hadoop-aws:2.7.3 pyspark-shell'

conf = pyspark.SparkConf('local[1]')
sc = pyspark.SparkContext(conf=conf)
sql = pyspark.SQLContext(sc)

对于aws配置，我尝试了下面的方法和上面的方法 conf ，做什么 conf.set(spark.hadoop.fs.<config_string>, <config_value>) 模式相当于我下面所做的，除了这样做这是我设置的值 conf 在创建spark上下文之前。

hadoop_conf = sc._jsc.hadoopConfiguration()

hadoop_conf.set("fs.s3.impl", "org.apache.hadoop.fs.s3a.S3AFileSystem")
hadoop_conf.set("fs.s3a.endpoint", "s3.us-east-2.amazonaws.com")
hadoop_conf.set("fs.s3a.access.key", access_id)
hadoop_conf.set("fs.s3a.secret.key", access_key)

需要注意的是，我还尝试了 us-east-2 的 s3-us-east-2.amazonaws.com .
然后我从s3中读取一些Parquet数据。

df = sql.read.parquet('s3a://bucket-name/parquet-data-name')
df.limit(10).toPandas()

同样，在将ec2示例移到us-east-1并注解掉endpoint配置之后，上面的方法对我来说很有用。对我来说，端点配置似乎出于某种原因没有被使用。