Kafka连接垃圾邮件重新加入

xeufq47z  于 2021-06-04  发布在  Kafka
关注(0)|答案(0)|浏览(153)

我终于成功地建立了kafka连接(使用kerberos、ssl和acl),并部署在kubernetes环境中。在我试着用两个工人做实验之前,它似乎工作得很好。我只是把k8s规范中的复制因子改为2。
然而,这似乎使我的连接器在一个错误的状态。
现在,每次我尝试重新启动我的k8s部署时,worker似乎都会启动,但最终会以垃圾处理日志的方式结束:

[2020-04-20 13:49:02,882] INFO [Worker clientId=connect-1, groupId=orion_kafka_con] (Re-)joining group (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2020-04-20 13:49:02,894] INFO [Worker clientId=connect-1, groupId=orion_kafka_con] Successfully joined group with generation 22981593 (org.apache.kafka.clients.consumer.internals.AbstractCoordinator)
[2020-04-20 13:49:02,894] INFO Joined group and got assignment: Assignment{error=1, leader='connect-1-ac35d22d-73a7-4d56-a42d-7e5904a52303', leaderUrl='http://<host>:8083/', offset=228, connectorIds=[], taskIds=[]} (org.apache.kafka.connect.runtime.distributed.DistributedHerder)

不管我有多少工人,这个错误似乎都会发生。
从日志中你可以看出,似乎有一个错误(错误=1),但我无法找出它指向什么。
我试图通过重置内部主题(将保留时间减少到1s)来解决这个问题,但似乎没有任何区别。
对如何解决这个问题有什么建议吗?我很感激能得到的任何帮助。
当做
编辑:日志喷出使得(?)restapi没有响应意味着我不能删除启动的连接器。启用调试(甚至更多的日志),但我似乎找不到任何错误。没有错误,没有警告。
编辑2:我设法解决它,但没有解决它。重置Kafka连接内部主题后(似乎我没有给保留时间的更改足够的时间来生效),问题最终消失了。我不知道是什么引起了这个问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题