我用的是基于Kafka的Kafka镜像器http://apache.cbox.biz/kafka/2.4.1/kafka_2.13-2.4.1.tgz 形象。我的问题是，无论我尝试了什么，mirrormaker都是在一个主题的10个分区上聚合延迟60秒，然后延迟在一秒钟内归零，因为消息显然没有那么多，然后延迟在60秒内再次增长。我希望消息和延迟每10秒归零一次，但无法实现，尽管我主要使用mirrormaker producer config文件。
消费者.props：
enable.auto.commit=false
client.id=mirror_maker_consumer
exclude.internal.topics=true
group.id=MirrorMaker
bootstrap.servers=${SOURCE_BOOTSTRAP_SERVERS_LIST}
partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor制作人.道具：
acks=all
bootstrap.servers=${TARGET_BOOTSTRAP_SERVERS}
client.id=mirror_maker_consumer_telemetry
max.in.flight.requests.per.connection=1
retries=5
batch.size = 10
buffer.memory = 3000
linger.ms = 5
max.request.size = 1000
max.block.ms = 3000
receive.buffer.bytes = -1
send.buffer.bytes = -1
transaction.timeout.ms = 22000在制作人层面上，我玩过：
批量大小
玲儿女士
最大请求大小
尝试添加底部4/5属性以缩短批处理之间的时间，但没有成功。
如果您能提供一些建议，我们将不胜感激。
我不确定是否有有效的滞后和消息留在消费者方面的这60秒或只是滞后更新每60秒与消息被复制的同时。。。
你好，奥维沃
1条答案
按热度按时间6ie5vjzr1#
我已经找到了正确的配置，以及消费者每60秒提交一次偏移量的原因。enable.auto.commit=false-这是我的配置，然后消费者每60秒提交一次。
如果我使用enable.auto.commit=true auto.commit.interval.ms=22000部署mirrormaker使用者，它每22秒（22000毫秒）提交并清除一次延迟。但是，我不确定自动提交是否安全，这样就不会丢失任何消息。