我可以指定spark redshift用于加载到s3的格式吗?

laximzn5  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(251)

尤其是当我在读一本现存的书的时候 Redshift 表中,如何指定加载到临时目录时使用的格式?
我的负载如下所示:

data = spark.read.format('com.databricks.spark.redshift') \
            .option('url', REDSHIFT_URL_DEV) \
            .option('dbtable', 'ods_misc.requests_2014_04') \
            .option('tempdir', REDSHIFT_WEBLOG_DIR + '/2014_04') \
            .load()

当我查看来自默认加载的数据时 csv 它将列拆分到多个文件中,例如
col1 col2 ... 在 0000_part1 等等。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题