我需要从一个具有2000个模式的postgresql数据库中获取数据。所有模式都包含相同的表(它是一个多租户应用程序)。
连接器配置如下:
{
"name": "postgres-source",
"connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
"timestamp.column.name": "updated",
"incrementing.column.name": "id",
"connection.password": "********",
"tasks.max": "1",
"mode": "timestamp+incrementing",
"topic.prefix": "postgres-source-",
"connection.user": "*********",
"poll.interval.ms": "3600000",
"numeric.mapping": "best_fit",
"connection.url": "jdbc:postgresql://*******:5432/*******",
"table.whitelist": "table1",
"value.converter": "org.apache.kafka.connect.json.JsonConverter",
"value.converter.schemas.enable": "false",
"key.converter": "org.apache.kafka.connect.json.JsonConverter",
"key.converter.schemas.enable":"false"
}
通过此配置,我得到以下错误:
连接器使用非限定表名作为主题名,并检测到重复的非限定表名。这可能会导致主题中的混合数据类型和下游处理错误。为防止此类处理错误,jdbc源连接器在检测到重复的表名配置时无法启动“
显然,连接器不想将多个同名表中的数据发布到单个主题中。
这对我来说无关紧要,它可以转到单个主题或多个主题(每个模式一个主题)。
作为附加信息,如果我添加:
"schema.pattern": "schema1"
对于配置,连接器工作,并且从指定的模式和表复制数据。
有没有办法复制多个包含同名表的模式?
谢谢您
暂无答案!
目前还没有任何答案,快来回答吧!