好吧，我最终还是能成功的，所以我要回答我自己的问题。
我需要首先在运行时更新传递给spark submit的包。我用的是 org.apache.hadoop:hadoop-aws:2.7.3 ，我改成 org.apache.hadoop:hadoop-aws:2.7.7 . 其次，我将这些配置传递给spark执行器和驱动程序，以启用v4签名。 --conf spark.hadoop.fs.s3a.endpoint=s3.us-east-2.amazonaws.com --conf spark.executor.extraJavaOptions=-Dcom.amazonaws.services.s3.enableV4=true --conf spark.driver.extraJavaOptions=-Dcom.amazonaws.services.s3.enableV4=true spark submit参数如下所示（在笔记本中运行时）：

os.environ['PYSPARK_SUBMIT_ARGS'] = f"--conf spark.jars.ivy={os.environ['HOME']} --packages org.apache.hadoop:hadoop-aws:2.7.7,com.amazonaws:aws-java-sdk:1.7.4 --conf spark.hadoop.fs.s3a.endpoint=s3.us-east-2.amazonaws.com --conf spark.executor.extraJavaOptions=-Dcom.amazonaws.services.s3.enableV4=true --conf spark.driver.extraJavaOptions=-Dcom.amazonaws.services.s3.enableV4=true pyspark-shell"

然后在运行时，我定义了以下配置

hadoopConf = spark.sparkContext._jsc.hadoopConfiguration()
hadoopConf.set("fs.s3a.endpoint", s3_endpoint_url)
hadoopConf.set("fs.s3a.access.key", s3_access_key_id)
hadoopConf.set("fs.s3a.secret.key", s3_secret_access_key)
hadoopConf.set("fs.s3a.path.style.access", "true")
hadoopConf.set("fs.s3a.connection.ssl.enabled", "true")

最后，在读取文件时，我做了以下操作：

data = spark.read.csv('s3a://' + s3_bucket + '/data.csv', sep=",", header=True)

我意识到，这只发生在我从美国东部-2地区的桶阅读时，在美国东部-1做同样的配置我的问题我得到了正确的工作。总之，关键实际上是启用v4签名。