所以我使用apachekafka作为消息队列,将twitter流转发给我的消费者。如果我想回去,我想有一个值(偏移量),我可以发送Kafka。所以,例如,如果有一天我想回去,我不知道会有什么补偿。因此,我可以手动设置偏移吗?也许是linux/epoch时间戳?
jgzswidk1#
不知道怎么可能,但你可以:使用kafka的api获取比给定时间早的偏移量(getoffsetbefore)。请注意,粒度取决于存储文件大小iirc,因此可以获得比指定时间早一点的偏移量在消息本身中保留一个时间戳,并将其与上面的一起使用以跳过消息保持一个时间的外部索引->抵消你自己并使用它
1条答案
按热度按时间jgzswidk1#
不知道怎么可能,但你可以:
使用kafka的api获取比给定时间早的偏移量(getoffsetbefore)。请注意,粒度取决于存储文件大小iirc,因此可以获得比指定时间早一点的偏移量
在消息本身中保留一个时间戳,并将其与上面的一起使用以跳过消息
保持一个时间的外部索引->抵消你自己并使用它