在kafka队列中获取最新消息时间戳

ujv3wf0j 于 2021-06-07 发布在 Kafka

关注(0)|答案(1)|浏览(675)

我有kafka 0.10.0，如果我理解正确的话，它会给所有消息添加时间戳。出于监视的目的，我想提取给定主题的最新消息的时间戳。在我看过的任何python库中，我都没有看到它的api字段。

1条答案

从kafka主题获取最新消息时间戳的方法并不简单。但解决方法是使用Kafka消费者，并使用 seek_to_end() 为分区寻找最可用的偏移量。

consumer.seek_to_end()
for message in consumer:
    print(message.timestamp)

详情请参见：
https://kafka-python.readthedocs.io/en/master/apidoc/kafka.consumer.html#kafka.consumer.kafkaconsumer.seek_to_end