Kafka的最新版本究竟是如何存储/持久化来自消费者的订阅的?

0s7z1bwu  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(304)

我发现kafka的producer端有很好的参考体系结构细节,但是关于端到端模型的细节很少,例如如何实际使用来自主题的消息、如何管理订阅、订阅在何处持久化(我假设是组协调器上的主题?),以及何时/何时发生反序列化。
是否有人有任何细节来帮助确定代理和消费者之间的详细体系结构?

ne5o7dgx

ne5o7dgx1#

文档中有一大部分是关于消费者模型的:https://kafka.apache.org/documentation/#theconsumer
有关消费者团体协议的详细信息,请参见以下两个对话:
https://www.youtube.com/watch?v=qaexdh12ehe
https://www.confluent.io/kafka-summit-lon19/everything-you-wanted-to-know-kafka-afraid
主题订阅不会持久化到代理上,而是使用者使用重新平衡协议来共享其订阅并在彼此之间分配分区。
记录是从代理“原始”发送的,消费者负责反序列化数据,这是为什么呢 key.deserializer 以及 value.deserializer 是强制设置。

相关问题