为什么我给Kafka发了65536条信息,却只收到几百条?

nlejzf6q  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(423)

Kafka版本:1.0.0萨拉玛版本:1.15.0围棋版本:1.9.1
代码示例如下:

func main() {
    config := sarama.NewConfig()
    config.Version = sarama.V1_0_0_0
    config.Producer.Return.Successes = true
    config.Producer.RequiredAcks = sarama.WaitForAll
    // config.Producer.Flush.Frequency = 10 * time.Second
    // config.Producer.Flush.Bytes = 1024 * 1024
    // config.Producer.Flush.MaxMessages = 1024
    producer, err := sarama.NewAsyncProducer(strings.Split(*brokers, ","), config)
    if err != nil {
        panic(err)
    }

    // Trap SIGINT to trigger a graceful shutdown.
    signals := make(chan os.Signal, 1)
    signal.Notify(signals, os.Interrupt)

    var (
        wg                          sync.WaitGroup
        enqueued, successes, errors int
    )

    wg.Add(1)
    go func() {
        defer wg.Done()
        for range producer.Successes() {
            successes++
        }
    }()

    wg.Add(1)
    go func() {
        defer wg.Done()
        for err := range producer.Errors() {
            log.Println(err)
            errors++
        }
    }()
    counter := 0

ProducerLoop:
    for {
        if counter >= 65536 {
            producer.AsyncClose() // Trigger a shutdown of the producer.
            break ProducerLoop
        }
        message := &sarama.ProducerMessage{
            Topic: *topics,
            // Key:       sarama.StringEncoder(fmt.Sprintf("%d", counter)),
            // Partition: int32(counter),
            Value: sarama.StringEncoder(fmt.Sprintf("%d,%d", counter, time.Now().UnixNano())),
            // Timestamp: time.Now(),
        }
        select {
        case producer.Input() <- message:
            enqueued++

        case <-signals:
            producer.AsyncClose() // Trigger a shutdown of the producer.
            break ProducerLoop
        }
        if *verbose {
            fmt.Printf(".")
        }
        if *sleep {
            // fmt.Println(100 * time.Millisecond)
            time.Sleep(1 * time.Millisecond)
        }
        counter++
    }

    wg.Wait()

    log.Printf("Successfully produced: %d; errors: %d\n", successes, errors)
}

从日志中我发现有65536条信息发送给Kafka,但当我使用Kafka官方消费客户端消费时,只收到了上百条信息,我相当困惑
我使用了官方的消费者工具:

$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server $KAFKA_BROKERS --topic fire-8  --from-beginning

至于生成时的偏移量和分区,我也记录了它们。粘贴在这里太长了。计数吻合,我没发现什么奇怪的
请解释。
我也在github上发布了一个问题。
更新1
我发现,如果我设置睡眠,消耗和生产之间的差距缩小。
更新2
我在日志中找到了我发送的数据,但我无法消费,我猜是消费者出错了

更新3

我在旧的kafka集群(0.10.1.0)上重放上述步骤,一切都完全按照预期工作

d8tt03nd

d8tt03nd1#

这应该是Kafka围棋客户的bug:萨拉玛。我从我发布的github问题中找到了解决方案:删除kafka版本配置,它就可以工作了。但它失去了新版本带来的一些新特性。如果未指定所使用的版本,则最旧版本为默认版本

相关问题