如何使用胶水读取多个s3桶?

nzrxty8p  于 2021-05-16  发布在  Spark
关注(0)|答案(1)|浏览(606)

使用spark时,我可以使用前缀中的*从多个bucket读取数据。例如,我的文件夹结构如下:

s3://bucket/folder/computation_date=2020-11-01/
s3://bucket/folder/computation_date=2020-11-02/
s3://bucket/folder/computation_date=2020-11-03/
etc.

使用pyspark,如果我想读取第11个月的所有数据,我可以:

input_bucket = [MY-BUCKET]
input_prefix = [MY-FOLDER/computation_date=2020-11-*]
df_spark = spark.read.parquet("s3://{}/{}/".format(input_bucket, input_prefix))

如何使用胶水实现相同的功能?以下方法似乎不起作用:

input_bucket = [MY-BUCKET]
input_prefix = [MY-FOLDER/computation_date=2020-11-*]
df_glue = glueContext.create_dynamic_frame_from_options(
            connection_type="s3",
            connection_options = {
                "paths": ["s3://{}/{}/".format(input_bucket, input_prefix)]
            },
            format="parquet",
            transformation_ctx="df_spark")
jbose2ul

jbose2ul1#

我用Spark代替胶水读文件

glueContext = GlueContext(SparkContext.getOrCreate())
spark = glueContext.spark_session
input_bucket = [MY-BUCKET]
input_prefix = [MY-FOLDER/computation_date=2020-11-*]
df_spark = spark.read.parquet("s3://{}/{}/".format(input_bucket, input_prefix))

相关问题