Kafka摄入问题

brccelvz  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(279)

我们已设置Kafka雪花摄取使用汇合Kafka连接器。我们看到以下情景。
1.我们看到消息实时插入Kafka主题(绝对零延迟)。但从Kafka的主题到雪花表。延迟1-2分钟。所以不明白是什么原因?
并且每次表被刷新时,记录都会成批出现(即在第一次刷新时出现15条记录,在第二次刷新时出现27条记录(15条旧记录和12条新记录),在第三次刷新时出现39条记录(27条旧记录和12条新记录),在第四次刷新时出现51条记录(39条旧记录和12条新记录)。。。继续..那么数据是从Kafka主题批量加载到表中的吗???这不是完全实时的,因为我们正在加载到Kafka的主题。
我看到了雪花文件。它说snowflake使用stage加载数据,然后使用临时的snowpipe将数据加载到表中。Kafka加载后,我们能在后台查询数据吗??

zaqlnxep

zaqlnxep1#

我得到了第三个问题的答案。我们可以在阶段中查询数据,只要它是可用的。实际上,Kafka会将数据作为临时文件加载到stage中。所以我们可以在它被删除之前对它进行短时间的查询。
仍然在寻找1和2的答案。

相关问题