如何使用kafka connect jdbc为包含同名表的多个模式的postgresql提供源代码?

slsn1g29  于 2021-06-06  发布在  Kafka
关注(0)|答案(0)|浏览(280)

我需要从一个具有2000个模式的postgresql数据库中获取数据。所有模式都包含相同的表(它是一个多租户应用程序)。
连接器配置如下:

{
  "name": "postgres-source",
  "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
  "timestamp.column.name": "updated",
  "incrementing.column.name": "id",
  "connection.password": "********",
  "tasks.max": "1",
  "mode": "timestamp+incrementing",
  "topic.prefix": "postgres-source-",
  "connection.user": "*********",
  "poll.interval.ms": "3600000",
  "numeric.mapping": "best_fit",
  "connection.url": "jdbc:postgresql://*******:5432/*******",
  "table.whitelist": "table1",
  "value.converter": "org.apache.kafka.connect.json.JsonConverter",
  "value.converter.schemas.enable": "false",
  "key.converter": "org.apache.kafka.connect.json.JsonConverter",
  "key.converter.schemas.enable":"false"
}

通过此配置,我得到以下错误:
连接器使用非限定表名作为主题名,并检测到重复的非限定表名。这可能会导致主题中的混合数据类型和下游处理错误。为防止此类处理错误,jdbc源连接器在检测到重复的表名配置时无法启动“
显然,连接器不想将多个同名表中的数据发布到单个主题中。
这对我来说无关紧要,它可以转到单个主题或多个主题(每个模式一个主题)。
作为附加信息,如果我添加:

"schema.pattern": "schema1"

对于配置,连接器工作,并且从指定的模式和表复制数据。
有没有办法复制多个包含同名表的模式?
谢谢您

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题