apache-kafka Kafka对多个分区中的信息进行排序

iszxjhcz  于 2022-11-01  发布在  Apache
关注(0)|答案(1)|浏览(135)

我一直在尝试用多个分区按顺序打印我的消息。我知道消息在单个分区内排序,但我如何实现这一点,以便消息也用多个分区排序?
例如,我发送1、2、3、4、5,它们被发送到不同的分区,但由于它们是按从1到5的顺序发送的,我也希望按此顺序打印它们,但它们被打印为2、3、5、4、1。我也有它们的时间戳,但也无法按此顺序实现。

kuarbcqp

kuarbcqp1#

您不能配置Kafka来保持跨分区的顺序:

您需要根据时间戳实现自己的排序算法。
如果我是你,我会使用Kafka作为我的摄取入口点,我会把它们存储在另一个接收器中,以便处理数据。
分布式系统中事件的排序不是一个简单的任务:

相关问题