大家好,我正在使用kafka jdbc源代码连接器用于postgres。下面是我的连接器配置。有些人认为它没有带来任何数据。这种配置有什么问题?
{
"name": "test-connection",
"config": {
"connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
"mode": "timestamp",
"timestamp.column.name": "TEST_DT",
"topic.prefix": "test",
"connection.password": "xxxxxx",
"validate.non.null": "false",
"connection.user": "xxxxxx",
"table.whitelist": "test.test",
"connection.url": "jdbc:postgresql://xxxx:5432/xxxx?ssl=true&stringtype=unspecified",
"name": "test-connection"
},
"tasks": [],
"type": "source"
}
我需要创建主题还是自动生成主题?
基于这个例子,我希望数据是流动的,但是数据不是流动的。但是,没有数据流入。
日志
[2019-07-07 20:52:37465]info workersourcetask{id=test-connection-0}提交偏移量(org.apache.kafka.connect.runtime.workersourcetask)[2019-07-07 20:52:37465]info workersourcetask{id=test-connection-0}刷新0个未完成的消息以提交偏移量(org.apache.kafka.connect.runtime.workersourcetask)
1条答案
按热度按时间rlcwz9us1#
我需要创建主题还是自动生成主题?
它使用您在中设置的“test”前缀自动生成
"topic.prefix": "test"
所以你的主题叫做“testtest连接”或者“testtest.test”有可能您正在使用avro模式,如果是这样,您必须使用avro consumer来使用主题。