我是第一次使用SpringKafka,在我的消费代码中无法使用acknowledgement.acknowledge()方法手动提交。如果我的用户配置或侦听器代码中缺少任何内容,请告诉我。或者有其他方法根据条件处理确认偏移。在这里,我看到的解决方案是,如果偏移量没有手动提交/确认,它应该由消费者选择相同的消息/偏移量。
配置
import java.util.HashMap;
import java.util.Map;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.StringDeserializer;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.kafka.annotation.EnableKafka;
import org.springframework.kafka.config.ConcurrentKafkaListenerContainerFactory;
import org.springframework.kafka.core.DefaultKafkaConsumerFactory;
import org.springframework.kafka.listener.AbstractMessageListenerContainer.AckMode;
@EnableKafka
@Configuration
public class ConsumerConfig {
@Value(value = "${kafka.bootstrapAddress}")
private String bootstrapAddress;
@Value(value = "${kafka.groupId}")
private String groupId;
@Bean
public ConcurrentKafkaListenerContainerFactory<String, String> containerFactory() {
Map<String, Object> props = new HashMap<String, Object>();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapAddress);
props.put(ConsumerConfig.GROUP_ID_CONFIG, groupId);
props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false);
props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, 100);
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG,
StringDeserializer.class);
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG,
StringDeserializer.class);
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "latest");
ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<String, String>();
factory.setConsumerFactory(new DefaultKafkaConsumerFactory<String, String>(
props));
factory.getContainerProperties().setAckMode(AckMode.MANUAL_IMMEDIATE);
factory.getContainerProperties().setSyncCommits(true);
return factory;
}
}
听众
private static int value = 1;
@KafkaListener(id = "baz", topics = "${message.topic.name}", containerFactory = "containerFactory")
public void listenPEN_RE(@Payload String message,
@Header(KafkaHeaders.RECEIVED_PARTITION_ID) int partition,
@Header(KafkaHeaders.OFFSET) int offsets,
Acknowledgment acknowledgment) {
if (value%2==0){
acknowledgment.acknowledge();
}
value++;
}
4条答案
按热度按时间mzmfm0qo1#
这在Apache·Kafka身上是行不通的。
对于当前运行的消费者,我们可能永远不会担心提交补偿。我们只对同一消费群体中的新消费者需要它们。当前轨迹在内存中的偏移量。我想在经纪公司的某个地方。
如果你需要在下一轮投票中,在同一个消费者身上重新提取相同的信息,你应该考虑使用
seek()
功能:https://docs.spring.io/spring-kafka/docs/2.0.1.release/reference/html/_reference.html#seek6g8kf2rb2#
将enable auto commit属性设置为false:
propsmap.put(consumerconfig.enable\u auto\u commit\u config,false);
将确认模式设置为手动\u立即:
factory.getcontainerproperties().setackmode(abstractmessagelistenercontainer.ackmode.manual\u立即);
然后,在使用者/侦听器代码中,可以手动提交偏移量,如下所示:
更新:我为此创建了一个小poc。看看这里,也许对你有帮助。
y0u0uwnf3#
您需要执行以下操作
1) 将“启用自动提交”属性设置为false
2) 将确认模式设置为手动立即
3) 对于已处理的记录,需要调用acknowledgement.acknowledge();
4) 对于失败的记录,调用acknowledgement.nack(10);注意:nack方法需要一个很长的参数,即睡眠时间,它应该小于max.poll.interval.ms
下面是一个示例代码
tyky79it4#
您可以执行以下操作:
1将当前记录偏移量存储到文件或数据库。
2用consumeraware实现kafka侦听器类。
三。调用注册表seekCallback,如下所示:
因此,当消费者下降或新消费者被分配,它开始读取fomr的偏移量存储在您的数据库。