如何在kafka主题中使用来自多个或单个分区的自定义消息?当我在一个kafka主题中使用来自多个分区的消息时,如何只能读取一条消息?
cunj1qz11#
你可以设置 max.poll.records consumer属性设置单个轮询中返回的记录数的上限。另一种(更通用的)方法是读取任意数量的消息,但只提交到某个点的偏移量,这样就可以减少“消耗”的消息。请记住,在kafka中,消息实际上从来不会被消费,因为它们在读取时不会被清除—存在一种消费错觉,即在消费组的基础上持久化主题分区偏移量。
max.poll.records
1条答案
按热度按时间cunj1qz11#
你可以设置
max.poll.records
consumer属性设置单个轮询中返回的记录数的上限。另一种(更通用的)方法是读取任意数量的消息,但只提交到某个点的偏移量,这样就可以减少“消耗”的消息。请记住,在kafka中,消息实际上从来不会被消费,因为它们在读取时不会被清除—存在一种消费错觉,即在消费组的基础上持久化主题分区偏移量。