尤其是当我在读一本现存的书的时候 Redshift
表中,如何指定加载到临时目录时使用的格式?
我的负载如下所示:
data = spark.read.format('com.databricks.spark.redshift') \
.option('url', REDSHIFT_URL_DEV) \
.option('dbtable', 'ods_misc.requests_2014_04') \
.option('tempdir', REDSHIFT_WEBLOG_DIR + '/2014_04') \
.load()
当我查看来自默认加载的数据时 csv
它将列拆分到多个文件中,例如
col1 col2
... 在 0000_part1
等等。
暂无答案!
目前还没有任何答案,快来回答吧!