我一直在尝试使用配置单元的托管表截断位于红移集群中的表,但到目前为止没有成功。
CREATE TABLE SPARK_DB.TEST
USING com.databricks.spark.redshift
OPTIONS (
dbtable 'reshift_db.test',
url 'jdbc:redshift://endpoint:5439/db?ssl=true&user=usr&password=pwd',
tempdir 's3n://mybucket',
forward_spark_s3_credentials 'true',
tempformat 'CSV GZIP')
但这将“成功”运行(=无错误),但对底层数据没有影响:truncate table sparkdb.test;
然后我尝试使用托管表的tblproperty,但没有任何效果:
TBLPROPERTIES ("auto.purge"="true")
TBLPROPERTIES ("external"="true")
TBLPROPERTIES ("external.table.purge"="true")
TBLPROPERTIES ("transactional"="true")
如何使spark将这个“截断表”下推到红移,为什么现在不这样做?
暂无答案!
目前还没有任何答案,快来回答吧!