使用kafka connect smt为具有不同主键字段的多个表创建键

wj8zmpe1  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(206)

我正在制作elasticsearch接收器连接器,并希望为每个文档使用自定义id。我希望此id始终是该表的主键。目前我只对一个表使用这个连接器。

create sink connector elastic_writer with (
'connector.class'='io.confluent.connect.elasticsearch.ElasticsearchSinkConnector',
'connection.url'='elastic:9200',
'type.name'='kafka-connect',
'topics'='sqlserver.dbo.relations',
'schema.ignore'='true',
'transforms'='createKey, extractField',
'transforms.createKey.type'='org.apache.kafka.connect.transforms.ValueToKey',
'transforms.createKey.fields'='relation_id',
'transforms.extractField.type'='org.apache.kafka.connect.transforms.ExtractField$Key',
'transforms.extractField.field'='relation_id');

这会产生想要的效果,如果我在sqlserver.dbo.relations索引中搜索,我可以看到我的文档id与存储在relationship\u id中的主键相同。
但是,我如何将此转换扩展到数据库中的每个表,因为所有表的主键都有不同的字段。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题