kafka控制台生成器丢失消息

xfb7svmp 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(422)

我使用下面的kafka console producer命令将文件的内容传递到kafka producer。

sh ~/KAFKA_HOME/bin/kafka-console-producer.sh --broker-list xxx:9092,yyy:9092,zzz:9092 --topic HistLoad --new-producer < data.csv

data.csv文件有大约700000条记录。我在消费者输出端只收到大约699800条消息。
我检查了consumer的偏移量计数器，根据偏移量值，它在队列中只有699800条消息。
你能帮我弄清楚是什么导致了这个消息丢失的问题吗。我需要检查什么才能找到根本原因。

1条答案

这是因为控制台生产者在默认情况下具有acks=0。将request required acks设置为1就可以了。
供参考https://issues.apache.org/jira/plugins/servlet/mobile#issue/kafka-3129