插入覆盖vs删除hdfs分区并在spark中写入Parquet文件

ggazkfy8  于 2021-06-28  发布在  Hive
关注(0)|答案(0)|浏览(279)

Parquet地板在使用过程中是否存在重大性能问题

hiveContext.sql("INSERT OVERWRITE TABLE table_name PARTITION(dt='2016-06-08', country) , select x,y,z,country from DFTmpTable");

VS

DeleteHDFSfile(/table/dt='2016-06-08')
DF.write().mode("append").partitionBy("dt","country").parquet("/table/dt='2016-06-08'")

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题