融合平台——如何用Kafka镜像器复制模式?

u3r8eeie  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(399)

我们正在使用mirror maker同步本地和aws kafka主题。在本地注册了模式的主题如何在其他集群(本例中是aws)中完全相同地复制?如何使用mirror maker复制avro模式?

whlutmcx

whlutmcx1#

mirrormaker只复制字节数组,不复制模式。不关心数据的格式
对于Confluent4.x或更高版本,只要您的目标注册表可以进行查找,这就不重要了 GET /schemas/ids/(number) 对于相同的模式id,因为这是反序列化程序拾取的端点
否则可以镜像 _schemas 以及confluent在使用confluent replicator时推荐的主题
如果您确实需要一对一的模式复制,那么需要实现 MessageHandler 接口,并将其传递给mirrormaker命令,以获取和发布模式,类似于我添加到这个kafka connect插件的内部逻辑(可以使用connect而不是mirrormaker)。https://github.com/cricket007/schema-registry-transfer-smt

相关问题