现在,我需要将一些主题从一个kafka集群复制到另一个集群,但在第二个集群中,我需要另一种格式的主题。我们在Kubernetes使用斯特里姆齐。在某些连接器中,可以这样做,但我不确定mirrormaker2是否允许我们这样做,因为它基于kafka connect:
apiVersion: kafka.strimzi.io/v1alpha1
kind: KafkaConnector
metadata:
name: sample-connector
spec:
class: com.sample.SampleConnector
tasksMax: 2
config:
...
transforms: TimestampConversion,RectificationDateTimeConversion
transforms.TimestampConversion.type: org.apache.kafka.connect.transforms.TimestampConverter$Value
transforms.TimestampConversion.format: yyyy-MM-dd HH:mm:ss.SSS
transforms.TimestampConversion.field: timestamp
transforms.TimestampConversion.target.type: string
transforms.RectificationDateTimeConversion.type: org.apache.kafka.connect.transforms.TimestampConverter$Value
transforms.RectificationDateTimeConversion.format: yyyy-MM-dd HH:mm:ss.SSS
transforms.RectificationDateTimeConversion.field: rectificationDateTime
transforms.RectificationDateTimeConversion.target.type: string
1条答案
按热度按时间0sgqnhkj1#
mirrormaker2(mm2)的确基于kafkaconnect,但它用于在kafka群集之间以主动/被动(单向复制)或主动/主动模式(双向复制)镜像数据。
您真正需要的是部署一个kafkanconnect集群,然后添加带有转换的自定义连接器插件。要做到这一点,您需要从strimzi一开始构建一个自定义映像,如文档所示。
这里还有一个简单的例子。与将camelkafkanconnector jar复制到plugin文件夹不同,您可以复制自己的jar,但过程是相同的。