我正在使用jdbc源kafka连接器以独立模式将数据从sql服务器转储到kafka。我已经下载了jdbc连接器jars的confluentinc-kafka-connect-jdbc-5.5.0.zip并复制了plugin.path中的所有jar。我正在使用下面的worker&connector配置。
工人个人
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter=org.apache.kafka.connect.json.JsonConverter
bootstrap.servers=localhost:9092
plugin.path=/home/kafka_2.12-2.5.0/connector/plugin/
offset.storage.file.filename=file
连接器1.属性
name=test12_connector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
connection.url=jdbc:sqlserver://host;databaseName=db;
connection.user=user
connection.password=password
query=SELECT TOP 100 * FROM table;
topic.prefix=test-
mode=bulk
我使用下面的命令在独立模式下运行连接器-
sh bin/connect-standalone.sh -daemon connector/worker.properties connector/connector1.properties
我使用的是最新的sqlserverjdbc驱动程序&在同一个插件路径上复制的。
另外,在类路径中添加了相同的plugin.path。
但我面临的问题是,它被困在日志的下面几行&没有从表中生成主题中的任何数据(预期主题:test table)
-日志
[2020-06-29 18:41:31,402] DEBUG Dialect SqlServerDatabaseDialect scored 100 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:127)
[2020-06-29 18:41:31,402] DEBUG Dialect SqliteDatabaseDialect scored 0 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:127)
[2020-06-29 18:41:31,402] DEBUG Dialect SybaseDatabaseDialect scored 100 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:127)
[2020-06-29 18:41:31,403] DEBUG Dialect VerticaDatabaseDialect scored 0 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:127)
[2020-06-29 18:41:31,403] DEBUG Using dialect SqlServerDatabaseDialect with score 100 against JDBC subprotocol 'sqlserver' and source 'jdbc:sqlserver://host:1433;databaseName=db;' (io.confluent.connect.jdbc.dialect.DatabaseDialects:133)
它甚至没有显示任何错误日志。我已经将日志级别更改为trace,但是连接器没有显示任何错误&只显示上面的日志。如果我漏了什么,请帮帮我。
1条答案
按热度按时间t3irkdon1#
我会尝试使用连接器属性,可能会添加:
它似乎还挂起了,无法获取到源sql server的连接,因此要么连接字符串不正确,要么找不到该方言的驱动程序jar文件。如果加载了jdbcsqlserver方言驱动程序,请检查日志。