这是关于Kafka镜子制造工具。
我在两台机器上配置了Kafka。
资料来源:
目标:vm[仅源代码处的ubuntu]
Kafka的来源地和目的地都是Kafka的同一版本【Kafka2.11-0.9.0.0】
在源和目的地,相应的zookeeper和kafka服务器正在运行。
使用mirrormaker工具,我想将主题从源复制/镜像到目标。
下面是我使用的命令:
./bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config ./config/mirror_consumer.properties --producer.config ./config/mirror_producer.properties --whitelist='.*' &>mirror-log.log
配置文件包含
a. mirror_consumer.properties
#host:port of kafka source zookeeper to be mirrored
zookeeper.connect=source-ip:3181
zookeeper.connection.timeout.ms=1000000
consumer.timeout.ms=-1
security.protocol=PLAINTEXT
group.id=kafka-mirror
where,
source-ip is ip address of source machine.
my zookeeper at source is running at port 3181.
b. mirror_producer.properties
# mirror broker (local) at the destination
bootstrap.servers=localhost:9092
producer.type=async
where,
localhost, resolves to destination i.e. ubuntu vm
and kafka is runnning on default port i.e. 9092
最初,我创建了几个名为source1和source2的主题。从源计算机和相应的生产者从命令行我已经发送了一些消息到主题创建。
从目标执行mirrormaker命令后,
我可以看到目的地的消费者正在尝试消费主题。不幸的是,目的地的使用者无法从代理读取每个主题的分区。
请查看下面的示例日志条目:
[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462521159741-6c2475c3-0 for topic source1 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462521295337-c3742307-0 for topic source1 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462517840512-a134d048-0 for topic source2 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,932] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462519206297-63bc9c58-0 for topic source2 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,932] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462519513695-bee7950e-0 for topic source2 (kafka.consumer.RangeAssignor)
如果你发现有什么东西丢失/需要修理,请告诉我。
这将是很大的帮助。
提前谢谢。
1条答案
按热度按时间j2datikz1#
当一个主题中的分区数与一个消费者组中馈送到同一主题的消费者数不匹配时,就会出现这个问题。