如何正确地重新启动Kafkas3接收器连接?

brjng4g3  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(358)

我从5月1日开始使用kafkas3sink连接器(confluent包中的bundle连接器)。它在5月8日前工作正常。检查状态时,它会告诉您某些aws异常会使此连接器崩溃。这应该不是一个大问题,所以我想恢复它。
我尝试了以下步骤:
i post/连接器/接收器/重新启动。然后我看到连接器处于运行模式,但任务仍然失败。
然后我放入/connectors/s3sink/task/0/重新启动。好的,现在任务处于运行模式。
但后来我跟踪日志,发现它开始重写旧数据,比如5月3日的数据。它把旧数据搞砸了!
那么,connect restart rest api是否重置了偏移量?我想它会保存偏移量,然后从偏移量开始它就失败了。
以及如何正确地重新启动失败的连接器任务?删除那些豆荚(使用kubernetes),还是通过rest/task/0/restart?我应该何时使用/connectors/s3sink/restart?

6yoyoihd

6yoyoihd1#

/connector/:name/restart 是一个对工作线程的滚动重新启动操作,需要以异步方式传播到所有工作服务器任务。因此,您需要确保领班和所有其他人之间的网络连接。 /connector/:name/task/:num/restart 将直接向该工作线程发送请求,重新启动线程。
重新启动不应重置偏移量,因为它们存储在该连接群集的使用者偏移量主题中。如果有的话,任务不能将偏移提交回 __consumer_offsets 主题,但您应该看到该主题的日志。

相关问题