kafka connect jdbc源连接器不工作

iih3973s  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(452)

大家好,我正在使用kafka jdbc源代码连接器用于postgres。下面是我的连接器配置。有些人认为它没有带来任何数据。这种配置有什么问题?

{
    "name": "test-connection",
    "config": {
       "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector",
       "mode": "timestamp",
       "timestamp.column.name": "TEST_DT",
       "topic.prefix": "test",
       "connection.password": "xxxxxx",
       "validate.non.null": "false",
       "connection.user": "xxxxxx",
       "table.whitelist": "test.test",
       "connection.url": "jdbc:postgresql://xxxx:5432/xxxx?ssl=true&stringtype=unspecified",
       "name": "test-connection"
},
  "tasks": [],
  "type": "source"
}

我需要创建主题还是自动生成主题?
基于这个例子,我希望数据是流动的,但是数据不是流动的。但是,没有数据流入。
日志
[2019-07-07 20:52:37465]info workersourcetask{id=test-connection-0}提交偏移量(org.apache.kafka.connect.runtime.workersourcetask)[2019-07-07 20:52:37465]info workersourcetask{id=test-connection-0}刷新0个未完成的消息以提交偏移量(org.apache.kafka.connect.runtime.workersourcetask)

rlcwz9us

rlcwz9us1#

我需要创建主题还是自动生成主题?
它使用您在中设置的“test”前缀自动生成 "topic.prefix": "test" 所以你的主题叫做“testtest连接”或者“testtest.test”
有可能您正在使用avro模式,如果是这样,您必须使用avro consumer来使用主题。

相关问题