手动设置Kafka组id的偏移量

9w11ddsr 于 2021-06-08 发布在 Kafka

关注(0)|答案(2)|浏览(500)

我已经使用confluent平台（v3.2.0）设置了我的kafka平台。
我的消费者/生产者-应用程序是用c语言编程的，使用nuget包“confluent kafka”向我的kafka流添加/获取数据。
我想知道是否有可能为某个主题的特定使用者组id设置偏移量，以便具有该组id的使用者“回滚”到我设置的偏移量？
我的想法是能够在我的消费者应用程序之外做这件事，我更喜欢在我需要构建的管理ui中。我只想知道如何与Kafka平台沟通。这可以使用cli命令或restapi来完成吗？

apache-kafka c#confluent-platform

来源：https://stackoverflow.com/questions/44734425/manually-set-offset-for-kafka-group-id

2条答案

按热度按时间

xtupzzrd1#

在apache kafka 0.11（confluent platform v3.3）中，bin/kafka使用者组命令行工具提供了新的选项，允许重置使用者组的偏移量。可以基于数字偏移或时间设置偏移。您还可以进行相对偏移量调整，例如回放100条消息或返回5分钟。
https://cwiki.apache.org/confluence/display/kafka/kip-122%3a+add+reset+consumer+group+offsets+tooling

--reset-offsets                         Reset offsets of consumer group.
                                      Supports one consumer group at the
                                      time, and instances should be
                                      inactive
                                    Has 3 execution options: (default) to
                                      plan which offsets to reset, --
                                      execute to execute the reset-offsets
                                      process, and --export to export the
                                      results to a CSV format.
                                    Has the following scenarios to choose:
                                      --to-datetime, --by-period, --to-
                                      earliest, --to-latest, --shift-by, --
                                      from-file, --to-current. One
                                      scenario must be choose
                                    To define the scope use: --all-topics
                                      or --topic. . One scope must be
                                      choose, unless you use '--from-file'
                                      scenario

赞(0）回复(0）举报 2021-06-09

x7rlezfr2#

当你接到协调员的任务时，你可以。请在此处查看最后一条消息：
https://github.com/confluentinc/confluent-kafka-dotnet/issues/141 使用当前的api，您不能跳转或返回分区，您将不得不再次取消订阅/订阅，但您可以轻松地将其添加到代码中

赞(0）回复(0）举报 2021-06-09