如何将新数据附加到已经存在的配置单元表中

0md85ypi  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(348)

如何将记录附加到现有的分区配置单元表中?例如,我有一个名为“ipu country”的现有外部表,数据集是testdata1。如果数据集增长,比如说第二天我的数据集是testdata1和testdata2,那么如何将新数据,即“testdata2”附加到“ip\u country”配置单元表。

xghobddn

xghobddn1#

它可以通过两种方式实现(完全取决于您的需求)
如果您不想覆盖分区中的现有记录(我的意思是您没有大的历史数据,比如10年的数据),那么insert overwrite可能是合适的。
insert overwrite table tablename1[分区(partcol1=val1,partcol2=val2…)[如果不存在]]从\u语句中选择\u语句1;
如果您不关心分区中的重复记录,那么insert-into可能合适(老实说,我不喜欢有重复的记录)。
insert into table tablename1[partition(partcol1=val1,partcol2=val2…)]从\u语句中选择\u语句1;
如果您有历史数据和增量数据,那么历史数据可以插入一次,增量数据(基于您选择的每日/每周/每两周的频率)可以使用插入覆盖插入

相关问题