我可以手动设置偏移量吗

bxjv4tth  于 2021-06-08  发布在  Kafka
关注(0)|答案(1)|浏览(334)

所以我使用apachekafka作为消息队列,将twitter流转发给我的消费者。如果我想回去,我想有一个值(偏移量),我可以发送Kafka。所以,例如,如果有一天我想回去,我不知道会有什么补偿。
因此,我可以手动设置偏移吗?也许是linux/epoch时间戳?

jgzswidk

jgzswidk1#

不知道怎么可能,但你可以:
使用kafka的api获取比给定时间早的偏移量(getoffsetbefore)。请注意,粒度取决于存储文件大小iirc,因此可以获得比指定时间早一点的偏移量
在消息本身中保留一个时间戳,并将其与上面的一起使用以跳过消息
保持一个时间的外部索引->抵消你自己并使用它

相关问题