我在读Kafka的文件时提到了这一点that:-
消费者通过从offset请求从代理中提取数据。
生产者将消息推送到代理。
让Kafka的消费者拉动式消费是有意义的,消费者可以推动步伐,经纪人可以将数据存储很长一段时间。
然而,由于制片人是推送式的,Kafka如何确保制片人和Kafka之间的速度不匹配不会发生?当生产者和经纪人在高延迟网络(internet)上分离时,这似乎是一个更大的问题。
我在读Kafka的文件时提到了这一点that:-
消费者通过从offset请求从代理中提取数据。
生产者将消息推送到代理。
让Kafka的消费者拉动式消费是有意义的,消费者可以推动步伐,经纪人可以将数据存储很长一段时间。
然而,由于制片人是推送式的,Kafka如何确保制片人和Kafka之间的速度不匹配不会发生?当生产者和经纪人在高延迟网络(internet)上分离时,这似乎是一个更大的问题。
1条答案
按热度按时间mepcadol1#
作为一个分布式提交日志,kafka正好解决了这个问题(阻抗不匹配)。您以事件发生在kafka中的速率生成事件,然后以应用程序可以执行的速率使用它们。不管怎样,数据都保存在Kafka中。如果您的应用程序需要以更高的速度使用,您可以扩展它,划分主题并并行使用。因为数据是持久化的,所以唯一的因素是您希望以多快的速度使用数据。