以下是我的任务:
文件\ 1:[任务\ 1 \ 1,任务\ 1 \ 2,…]
文件2:[任务2,任务2,…]
...
文件:[任务1,任务2,…]
现在我想按顺序运行文件任务(可以同时处理不同文件的任务)。我应该如何设计kafka主题或分区来实现这一点,或者您有其他mq选项供我选择:
每个使用者进程都是无状态的。
每个任务将至少处理一次。
在终止、重新启动或添加新进程后,它将自动进行负载平衡。
任何建议都将不胜感激。
以下是我的任务:
文件\ 1:[任务\ 1 \ 1,任务\ 1 \ 2,…]
文件2:[任务2,任务2,…]
...
文件:[任务1,任务2,…]
现在我想按顺序运行文件任务(可以同时处理不同文件的任务)。我应该如何设计kafka主题或分区来实现这一点,或者您有其他mq选项供我选择:
每个使用者进程都是无状态的。
每个任务将至少处理一次。
在终止、重新启动或添加新进程后,它将自动进行负载平衡。
任何建议都将不胜感激。
1条答案
按热度按时间mlmc2os51#
这些问题在Kafka文件中得到了很好的解决。您提出的一些问题是您可以阅读的基本kafka特性(例如,消费者群体自动平衡和消息传递保证)。请参见:https://kafka.apache.org/documentation/