Kafka多重logstash整合问题

2wnc66cl  于 2021-06-07  发布在  Kafka
关注(0)|答案(0)|浏览(330)

我有一个在3台机器上运行kafka代理的6节点集群和一个有18个分区的主题。我在6个节点中的3个节点上启动了logstash过程,其中有一个公共消费群体订阅了这个主题。
但当我描述消费者群体时:

/bin/kafka-consumer-groups.sh --bootstrap-server : --group --describe

它显示了所有18个分区的同一个logstash所有者。我不应该看到分区被划分在我在2个节点上运行的3个logstash进程中吗。现在看来只有一个logstash消费者在工作。
zkcli.sh中的plus ls/consumers不显示
重启zk和Kafka也没用。
下面是我的日志存储输入部分:

input {
  kafka {
    bootstrap_servers => "ip-...internal:6667,ip-.internal:6667"
    group_id => "my-group"
    topics => ["input"]
    consumer_threads => 2
  }
}

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题