问题描述

我想为我的项目部署分布式、有序队列解决方案，但遇到了问题：

• 我应该使用哪种工具/解决方案？哪一种最容易实现/学习并且基础架构成本更低？RabbitMQ，Kafka，Redis Streams？
• 如何在故障情况下或当新的主题/流被添加到系统时为每个消费者实现主题/流的自动重新平衡？

换句话说，我想认识到这样的东西：
distributed queues
..但是，如果我应用程序之一失败，则其它示例应获取当前以适当分布（相等负载）留下的所有业务。
请注意，我的代码是在node.jsv10（TypeScript）中编写的，我的基础架构基于Azure，因此除了自托管解决方案（如RabbitMQ）之外，基于Azure的解决方案（如Azure Service Bus）也是可能的，但较少的供应商锁定对我来说是更好的解决方案

我目前的架构

现在我提供一个更详细的背景我的系统：

我有100000个车辆跟踪器设备（不同的设备，不同的制造商和协议），每个设备都与我的一个名为decoder的自定义应用程序进行通信。这个小微服务解码并统一来自跟踪器的有效载荷，并将其发送到分布式队列。每个跟踪器每10-30秒发送一次消息。
注意，我必须保持来自单个设备的消息的顺序，这是非常重要的！
下一步，我有一个处理应用微服务，我想根据跟踪器设备的数量来扩展（分叉/集群）。这个应用的每个分叉都应该订阅一些主题/消费者组，以处理来自设备的消息，同时保持顺序。处理每个消息大约需要1-3秒。
请注意，在每个时刻，我都可以添加或删除跟踪器设备，并且此信息应自动传播到处理应用程序的分支，并且此示例应能够自动重新平衡队列中的流量。
问题是如何用尽可能少的（node.js）代码行做到这一点，同时保持解决方案简单、干净和便宜？：）
如上图所示，如果3号分叉出现故障，系统必须决定哪个工作分叉应该得到“蓝色”信息。同样，如果3号分叉返回，也需要重新平衡。
我自己的研究
我在消费者团体中读到过ApacheKafka，但Kafka对我来说很难学习和实施。
我读了很多关于RabbitMQ和消费者组的主题，但我不知道如何编写自动重新平衡功能，也不知道如何使用RabbitMQ（哪些插件？哪些设置/配置？有这么多选项...）。
我读过关于Azure Service Bus与message sessions的文章，但它有供应商锁（Azure云），它的成本很高，而且像其他解决方案一样，不提供开箱即用的完全自动重新平衡。
我读过Redis Streams（有消费者组），但它是新特性（缺少node.js库），也不提供自动再平衡。