将数据插入分区表

5gfr0r5j 于 2021-06-27 发布在 Hive

关注(0)|答案(1)|浏览(363)

我试图将大量数据从非分区表插入到分区表中。它运行了6个小时，然后我结束了工作。
请帮助我在更短的时间内插入数据。
来源 table(master_history) 有402133692张唱片。

set hive.exec.dynamic.partition=true;  
set hive.exec.dynamic.partition.mode=nonstrict;

insert into table master_partition_tbl partition(logdatetime)
SELECT * FROM master_history;

请帮帮我。
提前谢谢。

Hive

来源：https://stackoverflow.com/questions/53642905/inserting-data-into-partition-table

1条答案

按热度按时间

cbeh67ev1#

如果您使用严格的动态分区模式插入并每天插入它，而不是像您正在做的那样插入一个巨大的select，那就更好了。

set hive.exec.dynamic.partition.mode=strict;

insert into table partition (logdatetime="20180101 00:00:00")
select *
from source_table
where logdatetime="20180101 00:00:00"

赞(0）回复(0）举报 2021-06-27

我来回答

将数据插入分区表

1条答案

相关问题

热门标签

最新问答