我需要从多个Kafka生产者推送数据到一个单独的Kafka经纪人。假设我有3个Kafka服务器。从Kafka1和2，我需要像下面这样推送数据到Kafka3，是可能的吗？
eni9jsuy1#
Kafka已经内置了跨代理的复制。对于集群中的任何主题，您的生成器在任何时候都只能写入一个代理。如果有单独的群集，请使用MirrorMaker复制主题
ovfsdjhp2#
你的问题中有一些误解。
Kafka是一个集群，这意味着所有的“服务器”作为一个唯一的服务器一起工作。这意味着当你向Kafka集群发送消息时，你不知道哪个代理会接受这个消息。你需要使用正确的名称来回答问题。当你说“Kafka代理”时，你指的是集群中的Kafka示例。没有“Kafka服务器”。
您需要复制您的消息，这意味着您只有一个消息存在于两个代理中，您需要设置您的主题复制。
使用Mirror Maker
2条答案
按热度按时间eni9jsuy1#
Kafka已经内置了跨代理的复制。对于集群中的任何主题，您的生成器在任何时候都只能写入一个代理。
如果有单独的群集，请使用MirrorMaker复制主题
ovfsdjhp2#
你的问题中有一些误解。
1.没有Kafka服务器
Kafka是一个集群，这意味着所有的“服务器”作为一个唯一的服务器一起工作。这意味着当你向Kafka集群发送消息时，你不知道哪个代理会接受这个消息。
你需要使用正确的名称来回答问题。当你说“Kafka代理”时，你指的是集群中的Kafka示例。没有“Kafka服务器”。
2.您是否需要复制数据？或者只是将相同的消息发送到两个Kafka群集？
您需要复制您的消息，这意味着您只有一个消息存在于两个代理中，您需要设置您的主题复制。
3.是否需要在两个群集中使用相同的消息？
使用Mirror Maker