我用 SCDF on YARN 1.0.2.RELEASE 与 Kafka 0.10.0 用于流应用程序。当我取消部署一个流，然后再次部署它时，它似乎有时会以当前的kafka主题偏移量继续，而有时会从最旧的偏移量开始。在哪里可以配置以在重新部署流时获得可预测的行为（例如，当前偏移、最新偏移、最旧偏移）？有没有一种方法可以期望不同的流有不同的行为？
SCDF on YARN 1.0.2.RELEASE
Kafka 0.10.0
pexxcrt21#
你需要使用 spring.cloud.stream.kafka.bindings.<channelName>.consumer.startOffset 至 latest 重新部署流时。默认行为是使用 earliest . 有关详细信息，请参阅此文档。
spring.cloud.stream.kafka.bindings.<channelName>.consumer.startOffset
latest
earliest
1条答案
按热度按时间pexxcrt21#
你需要使用
spring.cloud.stream.kafka.bindings.<channelName>.consumer.startOffset至latest重新部署流时。默认行为是使用earliest. 有关详细信息，请参阅此文档。