使kafka消费者在订阅之前使用现有消息

jhdbpxl9 于 2021-06-07 发布在 Kafka

关注(0)|答案(2)|浏览(280)

如果消费者使用 auto.offset.reset=latest 然后他们错过了在订阅某个主题之前发布到该主题的所有消息。。。众所周知，消费者 auto.offset.reset=latest 不重播主题订阅前存在的邮件。。。
所以我需要：
使发布服务器等待所有订阅服务器开始使用消息，然后开始发布。不知道如何做到这一点，没有杠杆zookeeper例如。Kafka有办法做到这一点吗？
另一种方法是 auto.offset.reset=latest 消费者，并使他们显式消费所有现有的消息之前，以防他们即将订阅一个主题与现有的消息。。。
这个案子的最佳做法是什么？
我猜使用者必须检查主题中是否有现有的消息，如果有消息就使用它们，然后启动 auto.offset.reset=latest 消费。对我来说这是最好的办法。。。

apache-kafka

来源：https://stackoverflow.com/questions/37823358/making-kafka-consumers-consume-existing-messages-before-subscription

2条答案

按热度按时间

vwkv1x7d1#

如果启动了高级使用者，它将执行以下操作：
寻找其消费者群体的承诺补偿
答。如果找到有效的偏移量，则从那里继续
b。如果找不到有效偏移，请根据设置偏移 auto.offset.reset 因此， auto.offset.reset 只有触发器，如果没有提交有效的偏移量。这种行为是为了在发生故障时提供至少一次的处理保证。
因此，如果你想从一开始就阅读一个主题，你可以使用一个新的消费者 group.id 并设置 auto.offset.reset = earliest 或者在启动时使用 seekToBeginning() 在你开始工作之前 poll() 循环。