Kafka生成器未在分区上分发消息

b5lpy0ml 于 2022-11-21 发布在 Apache

关注(0)|答案(2)|浏览(218)

我在创作 Kafka 的题目如下：

kafka-topics --create --zookeeper xx.xxx.xx:2181 --replication-factor 2 --partitions 200 --topic test6 --config retention.ms=900000

中的每一个
然后使用 golang 使用以下库生成消息：

"gopkg.in/confluentinc/confluent-kafka-go.v1/kafka"

格式
生成器配置如下所示：

for _, message := range bigslice {

    topic := "test6"
        p.Produce(&kafka.Message{
            TopicPartition: kafka.TopicPartition{Topic: &topic},
            Value:          []byte(message),
        }, nil)

        }

格式
我发送了超过 20 万条消息，但它们都在分区 0 中。
在这种情况下会出什么问题呢？

apache-kafka

来源：https://stackoverflow.com/questions/56808537/kafka-producer-not-distributing-messages-over-partitions

2条答案

按热度按时间

oyxsuwqo1#

将具有相同键的消息添加到同一分区。如果不是这种情况，请尝试包含Partition: kafka.PartitionAny：

for _, message := range bigslice {

    topic := "test6"
        p.Produce(&kafka.Message{
            TopicPartition: kafka.TopicPartition{Topic: &topic, Partition: kafka.PartitionAny},
            Value: []byte(message),
        }, nil)

    }

赞(0）回复(0）举报 2022-11-21

jm81lzqq2#

你在生成的时候没有提供密钥，所以它会转到同一个分区。我建议你至少读一下这个https://medium.com/event-driven-utopia/understanding-kafka-topic-partitions-ae40f80552e8

赞(0）回复(0）举报 2022-11-21