Firebase导出到BigQuery:event_timestamp在从日内表转到全天表时发生更改

2ledvvac  于 2023-08-07  发布在  其他
关注(0)|答案(1)|浏览(92)

我有一个通过Firebase导出连接到BigQuery仓库的移动的应用程序。为了使 Jmeter 板保持最新,我每天运行几次增量作业(dbt),以便从BigQuery创建的包含导入的Firebase数据的表中提取数据。(参见this article)。
对于实时数据流,创建具有后缀“_intraday”的表。当天结束后,数据被移到只包含完整天数的表中,并删除当天表。
看起来当这种情况发生时(从日内移动到全天),每个条目的event_timestamp(UNIX)都会发生轻微的变化(几毫秒)。问题是:我定义了user_id和event_timestamp的组合作为唯一键。由于这个问题,处理移动的表的第一个作业将把每一行标识为一个新的、唯一的行,将结果数据精确地复制2。
有没有人看过这个问题,知道它是预期的吗?除了在客户端实现一个事件ID,给每个事件一个唯一的标识符(通过自定义事件参数),并使用它而不是user_id + timestamp之外,你还知道其他解决方案吗?
auto-created tables

  • 谢谢你-谢谢
mzsu5hc0

mzsu5hc01#

考虑“event_server_timestamp_offset”应该可以解决这个问题。

event_timestamp - ifnull(event_server_timestamp_offset, 0) as event_timestamp

字符串

相关问题