使用kafka connect从多个主题向上插入多个表-后续

kupeojn6 于 2021-06-04 发布在 Kafka

关注(0)|答案(1)|浏览(296)

这与下面的主题有关
jdbc接收器连接器-使用kafka connect从多个主题向上插入多个表
我知道它有点老了。但我的问题也是围绕着同一个主题。区别在于我想从主题名中删除后缀，并将剩余的字符串作为表名传递到接收器连接器中。我怎样才能做到这一点？
如果它是使用smt，请您帮助实现这一点。
主题名称：source1 emp，source1公司
表名：emp，公司
需要使用单个接收器连接器从多个主题向多个表加载数据。
你能帮我实现吗。
亩

apache-kafka apache-kafka-connect confluent-platform

来源：https://stackoverflow.com/questions/62697746/jdbc-sink-connector-upserting-into-multiple-tables-from-multiples-topics-using

1条答案

按热度按时间

m528fe3b1#

您的假设是正确的，即这可以通过单消息转换（smt）完成。举个例子：

curl -X PUT http://localhost:8083/connectors/sink-postgres-00/config \
    -H "Content-Type: application/json" \
    -d '{
        "connector.class": "io.confluent.connect.jdbc.JdbcSinkConnector",
        "connection.url": "jdbc:postgresql://postgres:5432/",
        "connection.user": "postgres",
        "connection.password": "postgres",
        "tasks.max": "1",
        "topics": "Source1-Emp,Source1-Company",
        "auto.create": "true",
        "auto.evolve":"true",
        "transforms":"dropPrefix",
        "transforms.dropPrefix.type":"org.apache.kafka.connect.transforms.RegexRouter",
        "transforms.dropPrefix.regex":"Source1-(.*)$",
        "transforms.dropPrefix.replacement":"$1"
    }'

赞(0）回复(0）举报 2021-06-04

我来回答

使用kafka connect从多个主题向上插入多个表-后续

1条答案

相关问题

热门标签

最新问答