如何使用kafka在使用者中自动进行负载平衡

wqnecbli  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(399)

以下是我的任务:
文件\ 1:[任务\ 1 \ 1,任务\ 1 \ 2,…]
文件2:[任务2,任务2,…]
...
文件:[任务1,任务2,…]
现在我想按顺序运行文件任务(可以同时处理不同文件的任务)。我应该如何设计kafka主题或分区来实现这一点,或者您有其他mq选项供我选择:
每个使用者进程都是无状态的。
每个任务将至少处理一次。
在终止、重新启动或添加新进程后,它将自动进行负载平衡。
任何建议都将不胜感激。

mlmc2os5

mlmc2os51#

这些问题在Kafka文件中得到了很好的解决。您提出的一些问题是您可以阅读的基本kafka特性(例如,消费者群体自动平衡和消息传递保证)。请参见:https://kafka.apache.org/documentation/

相关问题