例如,有一个源以每秒10000条记录的速度生成大量数据,kafka producer通常将其存储到内存缓冲区中,然后将其发送到主题,在发布记录之前,producer会关闭。因此,缓冲区中存在的记录将丢失。
请建议任何配置参数来防止这种情况。我使用了以下配置参数:
acks = 1
batch.size = 160000
buffer.memory = 33554432
request.timeout.ms = 30000
retries = 2147483647
例如,有一个源以每秒10000条记录的速度生成大量数据,kafka producer通常将其存储到内存缓冲区中,然后将其发送到主题,在发布记录之前,producer会关闭。因此,缓冲区中存在的记录将丢失。
请建议任何配置参数来防止这种情况。我使用了以下配置参数:
acks = 1
batch.size = 160000
buffer.memory = 33554432
request.timeout.ms = 30000
retries = 2147483647
1条答案
按热度按时间ppcbkaq51#