配置单元中最近更新的分区

iqxoj9l9  于 2021-06-26  发布在  Hive
关注(0)|答案(1)|浏览(254)

在配置单元sql中有没有一种方法可以在特定时间之后更新所有分区?
我有基于事务时间的每小时分区。事务记录很有可能延迟几个小时到达,并到达较旧的分区。

Table1 : Hourly partitions
00
01
..
23

Table 2 : Daily partitions
After midnight above 24 partitions are aggregated into daily partition in Table2.

在这个每日分区被创建之后,一组事务延迟到达,它们被添加到表1的每小时分区中。假设它们是在hour=20分区中添加的。
我需要确定哪些分区以这种方式接收到了最新更新。因此,如果需要,我将重新计算表2中的每日分区数据。

tv6aics1

tv6aics11#

我将介绍包含两列的中间表:day和last modified time。每次迟到的记录到达时,都用上一次更新时间的新行更新此表。
表2可以使用此表检查上次修改时间>作业上次执行时间。如果是这样的话,请计算当天的费用。

相关问题