Kafka经纪人vs主题

vuv7lop3  于 2021-06-08  发布在  Kafka
关注(0)|答案(4)|浏览(372)

一个主题通常驻留在代理(服务器进程)中,并且有多个分区,但是它能跨多个代理或节点(机器)吗?
i、 假设一个主题被分成两个分区,分区1和分区2。分区1是否属于broker-1,同一主题的分区2是否属于不同的broker-2或不同的节点?

exdqitrt

exdqitrt1#

kafka主题在多个代理之间复制,这样多个使用者可以并行地接收数据,或者在一个代理崩溃的情况下,可以从具有相同主题分区的其他代理检索数据。

wsxa1bj1

wsxa1bj12#

kafka集群由一个或多个服务器(kafka代理)组成。
每个代理可以有一个或多个主题。Kafka主题被划分为若干个分区,每个分区可以放在一台或单独的机器上,以允许多个使用者并行地读取一个主题。

mzsu5hc0

mzsu5hc03#

是的,一个主题的不同分区可以存储在多台计算机中。但是,单个分区必须完全存储在一台机器中。

ve7v8dk2

ve7v8dk24#

kafka broker的名称说明了它是接收请求并执行特定操作的控制器或服务器的类型。例如,kafka代理接收来自生产者的消息,并将它们存储在由唯一偏移量设置密钥的磁盘上。代理可以根据请求向使用者响应来自主题、分区和偏移量的唯一消息
每当我们想到kafka代理时,它不是一个单独的单元,而是一组使用zookeeper共享信息的服务器。kafka代理不是坐在一台机器上,而是能够跨分布式集群环境进行分发。由zookeeper协调部署在集群上的这组代理可以可视化为kafka集群。经纪人是Kafka产业集群的核心,它与消费者、生产者、合流者等外部词汇有着密切的联系。
kafka主题由分布在代理之间的多个分区组成。一个分区可以被视为引导分区,另一个分区将是跟随分区,在其他代理和消息中使用isr进行复制。
您可以使用重新分配分区工具来分配引线分区。有关详细信息,请参阅下面的链接
https://cwiki.apache.org/confluence/display/kafka/replication+tools

相关问题