重新分配分区会无限地陷入“仍在进行”状态

ddrv8njm  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(544)

我们有6个节点的Kafka集群。在这6台机器中,有3台同时拥有Kafka和zookeeper,其余3台只有Kafka。最近,我们又增加了一个Kafka节点。在将分区重新分配给所有节点(包括较新的节点)时,我们执行了以下命令:

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --execute --zookeeper localhost:2181

但是,当我们使用下面的命令验证状态时,

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --verify --zookeeper localhost:2181

我们得到下面的输出。一些分区正在重新分配中。

/opt/kafka/bin/kafka-reassign-partitions.sh --reassignment-json-file new_assignment_details.json --verify --zookeeper localhost:2181 | grep 'progress'
Reassignment of partition [topic-name,854] is still in progress
Reassignment of partition [topic-name,674] is still in progress
Reassignment of partition [topic-name,944] is still in progress
Reassignment of partition [topic-name,404] is still in progress
Reassignment of partition [topic-name,314] is still in progress
Reassignment of partition [topic-name,853] is still in progress
Reassignment of partition [prom-metrics,403] is still in progress
Reassignment of partition [prom-metrics,134] is still in progress

没有办法:
取消正在进行的分区重新分配。
回滚也是不可能的当我们尝试这样做,它说,“有一个现有的分配正在运行。”
Kafka版本:0.10.1.1
平台:amazon linux 1 x86\u 64 gnu/linux
有人能帮我吗?

yqkkidmi

yqkkidmi1#

您可以通过删除zk节点来取消正在进行的分区重新分配:delete/admin/reassign\u partitions。然后您可以回滚或重新分配另一个json文件。

相关问题