我在生产者端启用了snappy压缩，批大小为64kb，处理每个1kb的消息，并将延迟时间设置为inf，这是否意味着在我处理64条消息之前，生产者不会将消息发送到kafka out topic。。。换句话说，制作人会把每条消息发送给Kafka还是等待64条消息，然后一批发送出去。。。因为偏移量是一个接一个的增加，而不是64的倍数编辑-使用flink kafka连接器
b4lqfgs41#
消息是由生产者批处理的，这样网络使用量就最小化了，不会“成批”地写入kafka的commitlog。您所看到的是kafka正确地完成的，因为每个消息都需要说明，即标识的键/分区关系，附加到commitlog，然后偏移量递增。除非完成前两步，否则偏移量不会递增。此外，还需要根据配置进行数据复制，并为接收到的每条消息更新消息跟踪系统（以支持lagapi）。还要注意的是，batch.size参数考虑了准备发货消息的大小，该大小已预处理为1。压缩2。由您最喜欢的序列化程序序列化。
1条答案
按热度按时间b4lqfgs41#
消息是由生产者批处理的，这样网络使用量就最小化了，不会“成批”地写入kafka的commitlog。您所看到的是kafka正确地完成的，因为每个消息都需要说明，即标识的键/分区关系，附加到commitlog，然后偏移量递增。除非完成前两步，否则偏移量不会递增。
此外，还需要根据配置进行数据复制，并为接收到的每条消息更新消息跟踪系统（以支持lagapi）。
还要注意的是，batch.size参数考虑了准备发货消息的大小，该大小已预处理为1。压缩2。由您最喜欢的序列化程序序列化。