我正在探索不同的公共子平台,我想知道Kafka对于听多个主题有什么限制。例如,考虑这个用例。我们有火车,车站入口,所有的设备都发布了他们的遥测数据。目前这是在mq上完成的,但是随着数据速率的增加,智能列车等,我们需要转移到一个新的pubsub/流媒体平台,当然kafka也在这个列表上。
在我看来,有两种策略可以将遥测数据聚合到一个流中:
使用聚合,其中每个列/设备最初获得自己的主题,主题聚合使用regex主题/虚拟主题完成
生产上的聚合,其中所有生产线生产一个单一的主题和消费者使用过滤器,如果必要的话,挑出个别生产者
据我所知,Kafka并不特别适合大量的主题(>10.000),但它是可以做到的。一个正则表达式主题能够聚合2000、3000个主题吗?
暂无答案!
目前还没有任何答案,快来回答吧!