使用kafka python kafka客户端的kafkaconsumer示例读取kafka中最旧的可用消息

c8ib6hqw 于 2021-06-08 发布在 Kafka

关注(0)|答案(1)|浏览(289)

我尝试使用以下命令读取kafka consumer中的消息：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

在这里，我们可以读取大约4天的旧消息，因为我们在kafka服务器配置文件中将保留时间设置为7天。但是，当我们尝试使用kaka python客户端库的kafkaconsumer读取消息时，如下所示：

cons = KafkaConsumer("localhost:9092", "test","smallest")
cons.fetch_messages()

我们今天收到的信息只是有一些补偿。我不知道如何获得Kafka最古老的消息，就像我们在Kafka消费者外壳脚本上面。请帮忙。

apache-kafka kafka-python

来源：https://stackoverflow.com/questions/32331561/reading-oldest-available-message-in-kafka-using-kafkaconsumer-instance-of-kafka

1条答案

按热度按时间

yc0p9oo01#

文档显示通过 namedtuples .

consumer = KafkaConsumer('topic1', 'topic2',
                         bootstrap_servers=['localhost:9092'],
                         group_id='my_consumer_group',
                         auto_commit_enable=True,
                         auto_commit_interval_ms=30 * 1000,
                         auto_offset_reset='smallest')

赞(0）回复(0）举报 2021-06-08

我来回答

使用kafka python kafka客户端的kafkaconsumer示例读取kafka中最旧的可用消息

1条答案

相关问题

热门标签

最新问答