我正在使用WIFI在Kafka主题之间复制2.5亿条消息。
问题在于，NIFI以非连续的顺序复制消息，导致目标主题存储的消息与源主题不同。
例如
源主题-分区0
offset：5 key：a value：v1
offset：6 key：a value：v2
offset：7 key：a value：v3
目标主题-分区0
offset：5 key：a value：v2
offset：6 key：a value：v1
offset：7 key：a value：v3
这些主题配置了一个清理策略：compact。
我使用ConsumeKafka和PublishKafka处理器来复制主题。
x1c 0d1x的数据
的
的
的
x1c4d 1x的
1条答案
按热度按时间juud5qan1#
经检查，将队列实现为先进先出优先级，并将负载均衡策略配置为分区属性，并使用Kafka.partition属性，已证明在维护顺序方面是有效的。
enter image description here