我发现kafka的producer端有很好的参考体系结构细节,但是关于端到端模型的细节很少,例如如何实际使用来自主题的消息、如何管理订阅、订阅在何处持久化(我假设是组协调器上的主题?),以及何时/何时发生反序列化。是否有人有任何细节来帮助确定代理和消费者之间的详细体系结构?
ne5o7dgx1#
文档中有一大部分是关于消费者模型的:https://kafka.apache.org/documentation/#theconsumer有关消费者团体协议的详细信息,请参见以下两个对话:https://www.youtube.com/watch?v=qaexdh12ehehttps://www.confluent.io/kafka-summit-lon19/everything-you-wanted-to-know-kafka-afraid主题订阅不会持久化到代理上,而是使用者使用重新平衡协议来共享其订阅并在彼此之间分配分区。记录是从代理“原始”发送的,消费者负责反序列化数据,这是为什么呢 key.deserializer 以及 value.deserializer 是强制设置。
key.deserializer
value.deserializer
1条答案
按热度按时间ne5o7dgx1#
文档中有一大部分是关于消费者模型的:https://kafka.apache.org/documentation/#theconsumer
有关消费者团体协议的详细信息,请参见以下两个对话:
https://www.youtube.com/watch?v=qaexdh12ehe
https://www.confluent.io/kafka-summit-lon19/everything-you-wanted-to-know-kafka-afraid
主题订阅不会持久化到代理上,而是使用者使用重新平衡协议来共享其订阅并在彼此之间分配分区。
记录是从代理“原始”发送的,消费者负责反序列化数据,这是为什么呢
key.deserializer
以及value.deserializer
是强制设置。