kafka mirrormaker:使用者线程kafka mirror不使用代理分区

epfja78i  于 2021-06-07  发布在  Kafka
关注(0)|答案(1)|浏览(371)

这是关于Kafka镜子制造工具。
我在两台机器上配置了Kafka。
资料来源:
目标:vm[仅源代码处的ubuntu]
Kafka的来源地和目的地都是Kafka的同一版本【Kafka2.11-0.9.0.0】
在源和目的地,相应的zookeeper和kafka服务器正在运行。
使用mirrormaker工具,我想将主题从源复制/镜像到目标。
下面是我使用的命令:

./bin/kafka-run-class.sh kafka.tools.MirrorMaker --consumer.config ./config/mirror_consumer.properties --producer.config ./config/mirror_producer.properties --whitelist='.*' &>mirror-log.log

配置文件包含

a. mirror_consumer.properties

    #host:port of kafka source zookeeper to be mirrored
    zookeeper.connect=source-ip:3181
    zookeeper.connection.timeout.ms=1000000
    consumer.timeout.ms=-1
    security.protocol=PLAINTEXT
    group.id=kafka-mirror

    where, 

        source-ip is ip address of source machine.
        my zookeeper at source is running at port 3181.

b. mirror_producer.properties

    # mirror broker (local) at the destination
    bootstrap.servers=localhost:9092
    producer.type=async

   where,

       localhost, resolves to destination i.e. ubuntu vm
       and kafka is runnning on default port i.e. 9092

最初,我创建了几个名为source1和source2的主题。从源计算机和相应的生产者从命令行我已经发送了一些消息到主题创建。
从目标执行mirrormaker命令后,
我可以看到目的地的消费者正在尝试消费主题。不幸的是,目的地的使用者无法从代理读取每个主题的分区。
请查看下面的示例日志条目:

[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462521159741-6c2475c3-0 for topic source1 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462521295337-c3742307-0 for topic source1 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,931] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462517840512-a134d048-0 for topic source2 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,932] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462519206297-63bc9c58-0 for topic source2 (kafka.consumer.RangeAssignor)
[2016-05-06 13:25:00,932] WARN No broker partitions consumed by consumer thread kafka-mirror_mojes-VirtualBox-1462519513695-bee7950e-0 for topic source2 (kafka.consumer.RangeAssignor)

如果你发现有什么东西丢失/需要修理,请告诉我。
这将是很大的帮助。
提前谢谢。

j2datikz

j2datikz1#

当一个主题中的分区数与一个消费者组中馈送到同一主题的消费者数不匹配时,就会出现这个问题。

相关问题