kafka connect将sql jar文件添加到类路径

uplii1fm 于 2021-06-06 发布在 Kafka

关注(0)|答案(4)|浏览(396)

我正在尝试将连接独立作业部署到 mssql 不过，我面临一个问题（kafka connect是ambari部署的一部分，而不是docker）。这是我正在使用的属性文件：

name=JdbcSourceConnector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
connection.user=ue
connection.password=pw
tasks.max=1
connection.url=jdbc:sqlserver://servername
topic.prefix=iblog
query=SELECT * FROM IB_WEBLOG_DUMMY_small
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter=org.apache.kafka.connect.json.JsonConverter
poll.interval.ms=5000
table.poll.interval.ms=120000
mode=incrementing
incrementing.column.name=ID

我添加了 jar 文件 sqljdbc42.jar 至 /usr/share/java 我已经跑了 export CLASSPATH=/usr/share/java/* 但是我还是遇到了错误 Failed to find any class that implements Connector and which name matches io.confluent.connect.jdbc.JdbcSourceConnector 我做错什么了吗？或者我能检查一下别的东西吗？

Java apache-kafka apache-kafka-connect

来源：https://stackoverflow.com/questions/50576199/kafka-connect-add-sql-jar-file-to-classpath

4条答案

按热度按时间

dgenwo3n1#

Kafka连接是我的Ambari部署的一部分
这意味着您正在使用hortonworks安装
你需要 git clone https://github.com/confluentinc/kafka-connect-jdbc/ checkout 与您的Kafka版本理想匹配的发行分支。例如分支 v3.1.2 Kafka是0.10.1.1吗 mvn clean package 将在中生成一些文件夹 target/ 那个项目的一部分
将这些文件scp到集群中的所有kafka connect workers /usr/hdp/current/kafka/.../share/java/kafka-connect-jdbc （如果不存在，则创建）
重新启动kafka进程以获取新的类路径设置
您可能需要一些jdbc connect所依赖的额外合流包

赞(0）回复(0）举报 2021-06-07

41ik7eoe2#

我遇到了同样的问题，我通过在confluent的根文件夹中运行connect standalone解决了这个问题，在我的示例中是： /opt/confluent-5.0.1

赞(0）回复(0）举报 2021-06-07

4ktjp1zp3#

你需要包括 kafka-connect-jdbc jar文件，其中包含 io.confluent.connect.jdbc.JdbcSourceConnector 班级。
如果您使用的是maven，则可以将其添加为依赖项：
[如果您尚未这样做，请在您的项目中添加以下回购协议。]

<repository>
  <id>confluent</id>
  <url>http://packages.confluent.io/maven/</url>
</repository>

在此之后，添加以下依赖项：

<dependency>
    <groupId>io.confluent</groupId>
    <artifactId>kafka-connect-jdbc</artifactId>  
    <version>3.3.0 (or whatever version you want)</version>
</dependency>

https://github.com/confluentinc/kafka-connect-jdbc/issues/356

赞(0）回复(0）举报 2021-06-07

gr8qqesn4#

我也有同样的问题。找不到couchbase连接器
连接器出错后停止时出错（org.apache.kafka.connect.cli.connects）tandalone:113)java.util.concurrent.executionexception:org.apache.kafka.connect.errors.connectexception:找不到任何实现连接器且名称与com.couchbase.connect.kafka.couchbasesourceconnector匹配的类
设置classpath会丢失现有的classpath，我无法追加，因为我将所需的jar文件从kafka connect couchase/*.jar文件移到了/path/kafka\u verison/libs/libs文件夹中，其中存储了所有jar文件。

赞(0）回复(0）举报 2021-06-07

我来回答

kafka connect将sql jar文件添加到类路径

4条答案

相关问题

热门标签

最新问答