kafka connect jdbc:sqlexception:只有在使用分布式模式时才没有合适的驱动程序

ct3nt3jp  于 2021-06-07  发布在  Kafka
关注(0)|答案(3)|浏览(348)

我们已经使用jdbc独立连接器成功地使用了mysql-kafka数据摄取,但是现在在分布式模式下使用同样的连接器(作为kafka连接服务)时遇到了问题。
connect-distributed.properties文件-

bootstrap.servers=IP1:9092,IP2:9092
group.id=connect-cluster
key.converter.schemas.enable=true
value.converter.schemas.enable=true
offset.storage.topic=connect-offsets
offset.storage.replication.factor=2
config.storage.topic=connect-configs
config.storage.replication.factor=2
status.storage.topic=connect-status
status.storage.replication.factor=2
offset.flush.interval.ms=10000
plugin.path=/usr/share/java,/usr/share/java/kafka-connect-jdbc

我这里有连接器-

/usr/share/java/kafka-connect-jdbc

-rw-r--r-- 1 root root  906708 Jul 29 01:18 zookeeper-3.4.13.jar
-rw-r--r-- 1 root root   74798 Jul 29 01:18 zkclient-0.10.jar
-rw-r--r-- 1 root root 5575351 Jul 29 01:18 sqlite-jdbc-3.8.11.2.jar
-rw-r--r-- 1 root root   41203 Jul 29 01:18 slf4j-api-1.7.25.jar
-rw-r--r-- 1 root root  658466 Jul 29 01:18 postgresql-9.4-1206-jdbc41.jar
-rw-r--r-- 1 root root 1292696 Jul 29 01:18 netty-3.10.6.Final.jar
-rw-r--r-- 1 root root  489884 Jul 29 01:18 log4j-1.2.17.jar
-rw-r--r-- 1 root root  211219 Jul 29 01:18 kafka-connect-jdbc-5.0.0.jar
-rw-r--r-- 1 root root  317816 Jul 29 01:18 jtds-1.3.1.jar
-rw-r--r-- 1 root root   87325 Jul 29 01:18 jline-0.9.94.jar
-rw-r--r-- 1 root root   20844 Jul 29 01:18 common-utils-5.0.0.jar
-rw-r--r-- 1 root root   20437 Jul 29 01:18 audience-annotations-0.5.0.jar
-rw-r----- 1 root root 2132635 Nov 11 16:31 mysql-connector-java-8.0.13.jar

我可以通过这种方式运行脚本来运行独立模式-

/usr/bin/connect-standalone /etc/kafka/connect-standalone.properties /etc/kafka-connect-jdbc/source-quickstart-mysql.properties

但是,当我尝试调用rest api来运行分布式模式连接器时,会出现以下错误:

curl -X POST -H "Accept:application/json" -H "Content-Type:application/json" X.X.X.X:8083/connectors/ -d '{"name": "linuxemp-connector", "config": { "connector.class": "io.confluent.connect.jdbc.JdbcSourceConnector", "tasks.max": "1", "connection.url": "jdbc:mysql://Y.Y.Y.Y:3306/linux_db?user=groot&password=pwd","table.whitelist": "emp","mode": "timestamp","incrementing.column.name":"empid","topic.prefix": "mysqlconnector-" } }'

错误-

{"error_code":400,"message":"Connector configuration is invalid and contains the following 2 error(s):\nInvalid value java.sql.SQLException: No suitable driver found for jdbc:mysql://Y.Y.Y.Y:3306/linux_db?user=groot&password=pwd for configuration Couldn't open connection to jdbc:mysql://Y.Y.Y.Y:3306/linux_db?user=groot&password=pwd\nInvalid value java.sql.SQLException: No suitable driver found for jdbc:mysql://Y.Y.Y.Y:3306/linux_db?user=groot&password=pwd for configuration Couldn't open connection to jdbc:mysql://Y.Y.Y.Y:3306/linux_db?user=groot&password=pwd\nYou can also find the above list of errors at the endpoint `/{connectorType}/config/validate`"}

注意-连接器jar放置在所有连接节点上,plugin.path在所有连接节点上相同,kafka connect服务已启动并运行。
我错过了什么?为什么我不能提交rest调用来启动这个mysql管道的分布式连接worker/任务?这在独立模式下工作得非常好。但在分布式模式下抛出错误。
请帮帮我!
谢谢!

dxxyhpgq

dxxyhpgq1#

通过解决以下问题,问题得到了解决-
1.将/usr/share/java/kafka connect jdbc/mysql-connector-java-8.0.13.jar的权限更改为755 2.在plugin path中只保留/usr/share/java。
3.更改我的sql表结构,使其具有一个主键和一个具有增量性质或时间戳的列属性。

zlhcx6iw

zlhcx6iw2#

我这样解决了为驱动程序指定类路径的问题:

CLASSPATH=/Users/christian/kafka/confluent-5.3.1/share/java/kafka-connect-jdbc/mysql-connector-java-8.0.18.jar connect-standalone.sh worker.properties etc/kafka-connect-jdbc/mysql-jdbc-fp.properties
h6my8fg2

h6my8fg23#

我在使用confluent与kafka连接mysql数据库时也遇到了同样的问题。我已经安装了ubuntu16.04
1- /etc/kafka -所有需要的Kafka属性文件,在这里你会找到connect单机版和connect分布式属性文件,你可以编辑它们来加载插件。
2- /usr/share/java 所有的连接器都在这里。
mysql连接器应该在 /usr/share/java/kafka-connect-jdbc/ 一个jar文件,可以从这里下载或检查其他版本。确保第2点中提到的文件夹的权限是合适的。
完成上述步骤后,请确保重新启动 kafka 或者对我来说是 confluent . 我停止合流- confluent stop 然后 confluent start .
以下是帮助我的外部资源。

相关问题