现在，我需要将一些主题从一个kafka集群复制到另一个集群，但在第二个集群中，我需要另一种格式的主题。我们在Kubernetes使用斯特里姆齐。在某些连接器中，可以这样做，但我不确定mirrormaker2是否允许我们这样做，因为它基于kafka connect：
apiVersion: kafka.strimzi.io/v1alpha1
kind: KafkaConnector
metadata:
name: sample-connector
spec:
class: com.sample.SampleConnector
tasksMax: 2
config:
...
transforms: TimestampConversion,RectificationDateTimeConversion
transforms.TimestampConversion.type: org.apache.kafka.connect.transforms.TimestampConverter$Value
transforms.TimestampConversion.format: yyyy-MM-dd HH:mm:ss.SSS
transforms.TimestampConversion.field: timestamp
transforms.TimestampConversion.target.type: string
transforms.RectificationDateTimeConversion.type: org.apache.kafka.connect.transforms.TimestampConverter$Value
transforms.RectificationDateTimeConversion.format: yyyy-MM-dd HH:mm:ss.SSS
transforms.RectificationDateTimeConversion.field: rectificationDateTime
transforms.RectificationDateTimeConversion.target.type: string
1条答案
按热度按时间0sgqnhkj1#
mirrormaker2（mm2）的确基于kafkaconnect，但它用于在kafka群集之间以主动/被动（单向复制）或主动/主动模式（双向复制）镜像数据。
您真正需要的是部署一个kafkanconnect集群，然后添加带有转换的自定义连接器插件。要做到这一点，您需要从strimzi一开始构建一个自定义映像，如文档所示。
这里还有一个简单的例子。与将camelkafkanconnector jar复制到plugin文件夹不同，您可以复制自己的jar，但过程是相同的。