使用kafka ksql从具有给定偏移量的特定分区中选择主题的所有事件

h43kikqp  于 2021-06-08  发布在  Kafka
关注(0)|答案(0)|浏览(233)

问题:我在外部数据库中有一个表,其中包含上次从kafka总线轮询的kafka事件。该表包含所有事件的复合主键pk(主题、分区、偏移量)。
所以我可以很容易地为每个主题和分区确定最新的事件。
现在我想做一个如下选择:

SELECT event 
  FROM topic
 WHERE event.partition = partition0 AND event.offset > partition0.offset
    OR event.partition = partition1 AND event.offset > partition1.offset
...

当然,我希望语句立即返回当前队列中的所有事件,并将结果写入hdfs文件。
如何使用ksql实现这一点?
n、 b:当然,我想把所有分区及其相应的偏移量成对地放入一个数组中,并在where子句中使用它。。。这将是一个高级解决方案。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题