我用过 kafka-topics.bat --zookeeper localhost:2181 --alter --topic test --config cleanup.policy=compact delete config min.cleanable.dirty.ratio=0.01 --config segment.ms=100 --config delete.retention.ms=100
来压缩我的主题。我已经用相同的密钥发送了2000条消息。当我使用这些消息时,我会分别收到每条消息,而不是一条压缩的消息。
1条答案
按热度按时间5cnsuln71#
您所指的压缩设置与您使用kafka客户端的消息方式无关。请查看此处的官方文档以了解更多详细信息。
如果要控制客户端如何使用消息,则必须使用客户端配置属性配置客户端。
考虑这样一种情况:您将主题合并300毫秒,并接收一组消息(consumerrecords),然后可以对这些消息进行迭代以独立地处理每条消息。