kafka-connector error java.lang.illegalargumentexception后停止时出错:组数必须为正数

idfiyjo8  于 2021-06-07  发布在  Kafka
关注(0)|答案(2)|浏览(260)

正在设置Kafka从我们的rds postgres 9.6运行到Redshift。使用指南https://blog.insightdatascience.com/from-postgresql-to-redshift-with-kafka-connect-111c44954a6a 我们已经建立了所有的基础设施,并且正在全力建立confluent。我得到了ava.lang.illegalargumentexception的错误:组数必须为正。当你准备东西的时候。这是我的配置文件:

name=source-postgres
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=16

connection.url= ((correct url and information here))
mode=timestamp+incrementing
timestamp.column.name=updated_at
incrementing.column.name=id
topic.prefix=postgres_

完全错误:
/usr/local/confluent$/usr/local/confluent/bin/connect standalone/usr/local/confluent/etc/schema registry/connect-avro-standalone.properties/usr/local/confluent/etc/kafka connect jdbc/source-postgres.properties slf4j:类路径包含多个slf4j绑定。slf4j:在中找到绑定[jar:file:/usr/local/confluent/share/java/kafka-serde-tools/slf4j-log4j12-1.7.6.jar/org/slf4j/impl/staticloggerbinder.class]slf4j:在中找到绑定[jar:file:/usr/local/confluent/share/java/kafka connect elasticsearch/slf4j-simple-1.7.5.jar/org/slf4j/impl/staticloggerbinder.class]slf4j:在中找到绑定[jar:file:/usr/local/confluent/share/java/kafka connect hdfs/slf4j-log4j12-1.7.5.jar/org/slf4j/impl/staticloggerbinder.class]slf4j:在中找到绑定[jar:file:/usr/local/confluent/share/java/kafka/slf4j-log4j12-1.7.21.jar/org/slf4j/impl/staticloggerbinder.class]slf4j:请参阅http://www.slf4j.org/codes.html#multiple_bindings 为了解释。slf4j:实际绑定类型为[org.slf4j.impl.log4jloggerfactory][2018-01-29 16:49:49,820]信息标准配置值:access.control.allow.methods=access.control.allow.origin=bootstrap.servers=[localhost:9092]internal.key.converter=class org.apache.kafka.connect.json.jsonconverter internal.value.converter=class org.apache.kafka.connect.json.jsonconverter key.converter=class io.confluent.connect.avro.avroconverteroffset.flush.interval.ms=60000 offset.flush.timeout.ms=5000 offset.storage.file.filename=/tmp/connect.offsets rest.advered.host.name=null rest.advered.port=null rest.host.name=null rest.port=8083 task.shutdown.graceful.timeout.ms=5000 value.converter=class io.confluent.connect.avro.avroconverter(org.apache.kafka.connect.runtime.standalone.standal)oneconfig:180)[2018-01-29 16:49:49942]信息记录在549ms时初始化(org.eclipse.jetty.util。log:186)[2018-01-29 16:49:50301]信息kafka connect启动(org.apache.kafka.connect.runtime)。connect:52) [2018-01-29 16:49:50,302]info herder启动(org.apache.kafka.connect.runtime.standalone.standal)oneherder:70)[2018-01-29 16:49:50302]信息工作者启动(org.apache.kafka.connect.runtime)。worker:113) [2018-01-29 16:49:50,302]信息启动fileoffsetbackingstore with file/tmp/connect.offsets(org.apache.kafka.connect.storage.fileoffsetbackingstore:60)[2018-01-29 16:49:50304]信息工作者已启动(org.apache.kafka.connect.runtime)。worker:118) [2018-01-29 16:49:50,305]InfoHerder已启动(org.apache.kafka.connect.runtime.standalone.standal)oneherder:72)[2018-01-29 16:49:50305]启动rest服务器的信息(org.apache.kafka.connect.runtime.rest.r)estserver:98)[2018-01-29 16:49:50434]信息jetty-9.2.15.v20160210(org.eclipse.jetty.server。server:327)1月29日,2018 4:49:51 pm org.glassfish.jersey.internal.errors logerrors警告:已检测到以下警告:警告:org.apache.kafka.connect.runtime.rest.resources.connectorsresource中的(子)资源方法listconnectors包含空路径注解。警告:org.apache.kafka.connect.runtime.rest.resources.connectorsresource中的(子)资源方法createconnector包含空路径注解。警告:org.apache.kafka.connect.runtime.rest.resources.connectorPlugins资源中的(子)资源方法listconnectorplugins包含空路径注解。警告:org.apache.kafka.connect.runtime.rest.resources.rootresource中的(子)资源方法serverinfo包含空路径注解[2018-01-29 16:49:51385]信息开始o.e.j.s。servletcontexthandler@5aabbb29{/,null,可用}(org.eclipse.jetty.server.handler.conte)xthandler:744)[2018-01-29 16:49:51409]信息开始serverconnector@54dab9ac{http/1.1}{0.0.0.0:8083}(org.eclipse.jetty.server.server)connector:266) [2018-01-29 16:49:51,409]信息开始@2019ms(org.eclipse.jetty.server。server:379)[2018-01-29 16:49:51410]信息rest服务器正在侦听http://127.0.0.1:8083/,广告urlhttp://127.0.0.1:8083/(org.apache.kafka.connect.runtime.rest.r)estserver:150) [2018-01-29 16:49:51,410]信息kafka连接已启动(org.apache.kafka.connect.runtime)。connect:58) [2018-01-29 16:49:51,412]info connectorconfig值:connector.class=io.confluent.connect.jdbc.jdbcsourceconnector key.converter=null name=source postgres tasks.max=16 value.converter=null(org.apache.kafka.connect.runtime.connec)torconfig:180) [2018-01-29 16:49:51,413]创建io.confluent.connect.jdbc.jdbcsourceconnector(org.apache.kafka.connect.runtime)类型的连接器源帖子的信息。worker:159) [2018-01-29 16:49:51,416]信息示例化连接器源postgres,版本3.1.2,类型为io.confluent.connect.jdbc.jdbcsourceconnector(org.apache.kafka.connect.runtime)。worker:162) [2018-01-29 16:49:51,419]信息jdbcsourceconnectorconfig值:batch.max.rows=100 connection.url=incrementing.column.name=id mode=timestamp+incrementing poll.interval.ms=5000 query=schema.pattern=null table.blacklist=[]table.poll.interval.ms=60000 table.types=[table]table.whitelist=[]timestamp.column.name=updated\utimestamp.delay.interval.ms=0 topic.prefix=postgres\ validate.non.null=true(io.confluent.connect.jdbc.source.jdbcsourceconnec)torconfig:180)[2018-01-29 16:49:52129]info已完成创建连接器源postgres(org.apache.kafka.connect.runtime)。worker:173) [2018-01-29 16:49:52,130]info sourceconnectorconfig值:connector.class=io.confluent.connect.jdbc.jdbcsourceconnector key.converter=null name=source postgres tasks.max=16 value.converter=null(org.apache.kafka.connect.runtime.sourceconnec)torconfig:180) [2018-01-29 16:49:52,209]连接器出错后停止时出错(org.apache.kafka.connect.cli.connects)tandalone:102)java.lang.illegalargumentexception:组数必须为正。在org.apache.kafka.connect.util.connectorutils.grouppartitions(connectorutils。java:45)在io.confluent.connect.jdbc.jdbcsourceconnector.taskconfigs(jdbcsourceconnector。java:123)在org.apache.kafka.connect.runtime.worker.connectortaskconfigs(worker。java:193)在org.apache.kafka.connect.runtime.standaloneherder.recomputetaskconfigs(standaloneherder。java:251)在org.apache.kafka.connect.runtime.standaloneherder.updateconnectortasks(standaloneherder。java:281)在org.apache.kafka.connect.runtime.standaloneherder.putconnectorconfig(standaloneherder。java:163)在org.apache.kafka.connect.cli.connectstandalone.main(connectstandalone。java:96)[2018-01-29 16:49:52210]Kafka连接停止信息(org.apache.kafka.connect.runtime)。connect:68)[2018-01-29 16:49:52210]停止rest服务器的信息(org.apache.kafka.connect.runtime.rest.r)estserver:154) [2018-01-29 16:49:52,213]信息已停止serverconnector@54dab9ac{http/1.1}{0.0.0.0:8083}(org.eclipse.jetty.server.server)connector:306)[2018-01-29 16:49:52218]信息停止o.e.j.s。servletcontexthandler@5aabbb29{/,null,不可用}(org.eclipse.jetty.server.handler.conte)xthandler:865) [2018-01-29 16:49:52,224]信息rest服务器已停止(org.apache.kafka.connect.runtime.rest.r)estserver:165)[2018-01-29 16:49:52224]信息牧民停止(org.apache.kafka.connect.runtime.standalone.standal)oneherder:76)[2018-01-29 16:49:52224]信息停止连接器源postgres(org.apache.kafka.connect.runtime。worker:218) [2018-01-29 16:49:52,225]信息停止表监视线程(io.confluent.connect.jdbc.jdbcsourceconnector:137)[2018-01-29 16:49:52225]信息停止连接器源postgres(org.apache.kafka.connect.runtime)。worker:229)[2018-01-29 16:49:52225]信息工作者停止(org.apache.kafka.connect.runtime。worker:122) [2018-01-29 16:49:52,225]信息停止fileoffsetbackingstore(org.apache.kafka.connect.storage.fileoffsetbackingstore:68)[2018-01-29 16:49:52225]信息工作者已停止(org.apache.kafka.connect.runtime)。worker:142)[2018-01-29 16:49:57334]信息反射花了6952毫秒扫描263个URL,生成12036个键和80097个值(org.reflections.re)flections:229)[2018-01-29 16:49:57346]信息herder已停止(org.apache.kafka.connect.runtime.standalone.standal)oneherder:86)[2018-01-29 16:49:57346]信息kafka connect已停止(org.apache.kafka.connect.runtime)。connect:73)
我们在rds postgres(9.6)和redshift之间使用dms。它一直在失败,只是很悲惨,而且几乎在这一点上几乎是不舒服的昂贵,所以我们正在进入这一可能的解决办法。我在这里有点为难,真的很想得到一些帮助。

ivqmmu1c

ivqmmu1c1#

我在jdbc源连接器作业中遇到了这个错误。问题是 table.whitelist 设置区分大小写,即使底层数据库不是(rdbms是ms sql server)。
所以我的table tableName ,我有 "table.whitelist": "tablename", . 这个失败了,我得到了上面的错误。把它改成 "table.whitelist": "tableName", 修正了错误。
尽管事实上 SELECT * FROM tablename 以及 SELECT * FROM tableName 两者都在mssqlmanager中工作。

rjee0c15

rjee0c152#

我正在研究一个与此非常类似的问题,我发现如果连接器没有配置来告诉它要拉什么,那么它只会出错。正在尝试将以下内容添加到连接器配置中:
表.白名单=
然后指定要获取的表的列表。

相关问题