我在找Kafka的镜子。我发现了这个开源的[comcast]:https://github.com/comcast/mirrortool-for-kafka-connect 当从源kafka主题中检索数据并将其写入目标kafka主题时,它是成功的。现在我需要从目标Kafka主题下沉,并将其写入源Kafka。我怎么做请推荐信。
我写了Kafka辛任务文件。我能从目的地Kafka那里得到主题。所以我不知道如何写这个主题来源kfafa
@Override
public void put(Collection<SinkRecord> records) {
if (records.isEmpty()) {
return;
}
final SinkRecord first = records.iterator().next();
final int recordsCount = records.size();
logger.info(
"Received {} records. First record kafka coordinates:({}-{}-{}).
+ "database...",
recordsCount, first.topic(), first.kafkaPartition(), first.kafkaOffset()
);
}
1条答案
按热度按时间3zwjbxry1#
现在我需要从目标Kafka主题下沉,并将其写入源Kafka
你能不能在配置文件中翻转源服务器和目标服务器?connect通常应该从远程集群消费并产生到本地集群(给定两个数据中心或地理上分离的网络),并将消费的偏移量存储在connect offsets主题的目的地,因此它是一个源连接器。
你也可以试试mirrormaker 2.0-https://cwiki.apache.org/confluence/display/kafka/kip-382%3a+mirrormaker+2.0