当producer关闭时,批处理中的消息丢失

3hvapo4f  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(311)

例如,有一个源以每秒10000条记录的速度生成大量数据,kafka producer通常将其存储到内存缓冲区中,然后将其发送到主题,在发布记录之前,producer会关闭。因此,缓冲区中存在的记录将丢失。
请建议任何配置参数来防止这种情况。我使用了以下配置参数:

acks = 1
batch.size = 160000
buffer.memory = 33554432

request.timeout.ms = 30000
retries = 2147483647

相关问题