kafka dsl-带消息的手动提交

e4eetjau  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(314)

我们正试图用下面的代码用springdsl-kafka实现手动提交。我们找不到它的任何参考资料。
我们可以将consumer porperty添加为“auto.commit”或“false”,但我们希望在成功处理消息后提交消息。有人能帮忙吗?

@Bean
        IntegrationFlow consumer()  {
    KafkaHighLevelConsumerMessageSourceSpec messageSourceSpec = Kafka
                    .inboundChannelAdapter(new ZookeeperConnect(this.kafkaConfig.getZookeeperAddress()))
                    .consumerProperties(
                            props -> props.put("zookeeper.session.timeout.ms", "500").put("zookeeper.sync.time.ms", "250").
                            put("key.deserializer", "org.apache.kafka.common.serialization.ByteArrayDeserializer").
                            put("value.deserializer", "org.apache.kafka.common.serialization.ByteArrayDeserializer").
                            put("auto.offset.reset", "smallest").
                            put("auto.commit.interval.ms", "100")
                            )
                    .addConsumer(this.kafkaConfig.getConsumerGroup(),
                            metadata -> metadata.consumerTimeout(100)
                                    .topicStreamMap(m -> m.put(this.kafkaConfig.getTopicRead(), 1)).maxMessages(1));

            Consumer<SourcePollingChannelAdapterSpec> endpointConfigurer = e -> e.poller(p -> p.fixedDelay(100));
            return IntegrationFlows.from(messageSourceSpec, endpointConfigurer)
                    .<Map<String, List<byte[]>>> handle((payload, headers) -> {
                        payload.entrySet().forEach(e -> processMessage((ConcurrentHashMap<Integer, List<byte[]>>) e.getValue()));
                        return null;
                    }).get();
        }

版本:

<dependency>
            <groupId>org.springframework.integration</groupId>
            <artifactId>spring-integration-java-dsl</artifactId>
            <version>1.1.0.RELEASE</version>
        </dependency>
mkh04yzy

mkh04yzy1#

参见相关gh问题https://github.com/spring-projects/spring-kafka/issues/69.
解决方案听起来像:
仔细看,我认为您必须手动提交偏移:

ConsumerConnector
...
/**
   *  Commit the offsets of all broker partitions connected by this connector.
   */
  public void commitOffsets();
  public void commitOffsets(boolean retryOnFailure);

那是Kafka Consumer 桥上的 KafkaHighLevelConsumerMessageSource 基于。
你可以通过 KafkaConsumerContext 豆子。不幸的是,它注册了一些生成的名称,比如, org.springframework.integration.kafka.support.KafkaConsumerContext#0 ,但如果你只有一个这样的Kafka消费者( KafkaHighLevelConsumerMessageSourceSpec messageSourceSpec ),您可以通过类型(或 @Autowired 它)。
之后你可以像这样:

kafkaConsumerContext.getConsumerConfiguration(this.kafkaConfig.getConsumerGroup())
                                    .getConsumerConnector()
                                    .commitOffsets();

相关问题