sql server kafka连接器未在kafka中加载数据

r7xajy2e  于 2021-06-04  发布在  Kafka
关注(0)|答案(1)|浏览(368)

我正在使用jdbc源kafka连接器以独立模式将数据从sql服务器转储到kafka。我已经下载了jdbc连接器jars的confluentinc-kafka-connect-jdbc-5.5.0.zip并复制了plugin.path中的所有jar。我正在使用下面的worker&connector配置。
工人个人

value.converter=org.apache.kafka.connect.json.JsonConverter
  key.converter=org.apache.kafka.connect.json.JsonConverter
  bootstrap.servers=localhost:9092
  plugin.path=/home/kafka_2.12-2.5.0/connector/plugin/
  offset.storage.file.filename=file

连接器1.属性

name=test12_connector
  connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
  connection.url=jdbc:sqlserver://host;databaseName=db;
  connection.user=user
  connection.password=password
  query=SELECT TOP 100 * FROM table;
  topic.prefix=test-
  mode=bulk

我使用下面的命令在独立模式下运行连接器-

sh bin/connect-standalone.sh -daemon connector/worker.properties connector/connector1.properties

我使用的是最新的sqlserverjdbc驱动程序&在同一个插件路径上复制的。
另外,在类路径中添加了相同的plugin.path。
但我面临的问题是,它被困在日志的下面几行&没有从表中生成主题中的任何数据(预期主题:test table)
-日志

[2020-06-29 18:41:31,402] DEBUG Dialect SqlServerDatabaseDialect scored 100 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:127)
[2020-06-29 18:41:31,402] DEBUG Dialect SqliteDatabaseDialect scored 0 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:127)
[2020-06-29 18:41:31,402] DEBUG Dialect SybaseDatabaseDialect scored 100 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:127)
[2020-06-29 18:41:31,403] DEBUG Dialect VerticaDatabaseDialect scored 0 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:127)
[2020-06-29 18:41:31,403] DEBUG Using dialect SqlServerDatabaseDialect with score 100 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:133)

它甚至没有显示任何错误日志。我已经将日志级别更改为trace,但是连接器没有显示任何错误&只显示上面的日志。如果我漏了什么,请帮帮我。

t3irkdon

t3irkdon1#

我会尝试使用连接器属性,可能会添加:

"tasks.max": "1",
"internal.key.converter.schemas.enable": "false",
"reporter.admin.bootstrap.servers": "localhost:9092",
"internal.value.converter.schemas.enable": "false",

它似乎还挂起了,无法获取到源sql server的连接,因此要么连接字符串不正确,要么找不到该方言的驱动程序jar文件。如果加载了jdbcsqlserver方言驱动程序,请检查日志。

相关问题