Kafka生产者和消费者之间的信息消失

rkttyhzu  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(137)

我有一个非常简单的嵌入式kafka应用程序:一个producer线程和两个consumer线程,用于编写顶级postgres db。三个线程在一个进程中运行。我使用librdkafka来实现我的消费者和生产者,并将apachekafka作为代理运行。消息大小约为2kb。我有两个计数器:一个在写入时递增(rd\u kafka\u product),另一个在读取时递增(rd\u kafka\u consume\u batch)。如果我运行producer的速度足够快(超过30000条消息/秒),producer计数器最终会比consumer计数器大得多(如果我运行30秒,大约15%)。所以我在某处丢失了信息。我的第一个问题是如何调试这样的问题?第二个问题是这个问题最可能的原因是什么,我怎样才能解决它?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题