我有3个Kafka集群,我在其他集群中复制了一个主题。集群1主题“测试”
集群2 test.replica
.. 我在集群3中复制了这个主题,但是当我将数据发送到主题“test”时,我可以从主题“test.replica”读取数据,而主题test.replica.replica似乎是空的
集群3 test.replica.replica
连接器
{
"name":"test-z1-z2",
"config":{
"connector.class":"io.confluent.connect.replicator.ReplicatorSourceConnector",
"tasks.max":"4",
"key.converter":"io.confluent.connect.replicator.util.ByteArrayConverter",
"value.converter":"io.confluent.connect.replicator.util.ByteArrayConverter",
"src.kafka.bootstrap.servers":"localhost:9092",
"src.zookeeper.connect":"localhost:2181",
"dest.zookeeper.connect":"localhost:2182",
"topic.whitelist":"test",
"topic.rename.format":"test.replica",
"confluent.license":""
}
}
{
"name":"test-z2-z3",
"config":{
"connector.class":"io.confluent.connect.replicator.ReplicatorSourceConnector",
"tasks.max":"4",
"key.converter":"io.confluent.connect.replicator.util.ByteArrayConverter",
"value.converter":"io.confluent.connect.replicator.util.ByteArrayConverter",
"src.kafka.bootstrap.servers":"localhost:9093",
"src.zookeeper.connect":"localhost:2182",
"dest.zookeeper.connect":"localhost:2183",
"topic.whitelist":"test.replica",
"topic.rename.format":"test.replica.replica",
"confluent.license":""
}
}
集群1
[root@localhost bin]# ./kafka-topics --list --zookeeper localhost:2181
__confluent.support.metrics
__consumer_offsets
__consumer_timestamps
test
集群2
[root@localhost bin]# ./kafka-topics --list --zookeeper localhost:2182
__confluent.support.metrics
__consumer_offsets
test.replica
[root@localhost bin]#
[root@localhost bin]# ./kafka-topics --list --zookeeper localhost:2183
__confluent.support.metrics
__consumer_offsets
test.replica.replica
生产数据
[root@localhost bin]# seq 10 | ./kafka-console-producer --broker-list localhost:9092 --topic test
>>>>>>>>>>>
使用复制副本
[root@localhost bin]# ./kafka-console-consumer --bootstrap-server localhost:9093 --topic test.replica
1
2
3
4
5
6
7
8
9
10
正在尝试另一个复制副本
[root@localhost bin]# ./kafka-console-consumer --bootstrap-server localhost:9094 --topic test.replica.replica
(no Data)
我想将数据发送到一个集群,然后从那里跨其他集群再次复制它。
1条答案
按热度按时间z9gpfhce1#
有可能复制的数据已经到达代理,而您指向的是最新的偏移量。
您可以添加
--from-beginning
从一开始就消耗。真正的支票应该是
OffsetShell
查看主题的实际偏移量。此外,目标主题的创建是正确的,因此复制器至少正在处理该部分。还不清楚连接器配置是否属于同一连接群集。你在跑步吗
connect-disributed
在不同的端口上,使用不同的bootstrap.servers
也?