我从5月1日开始使用kafkas3sink连接器（confluent包中的bundle连接器）。它在5月8日前工作正常。检查状态时，它会告诉您某些aws异常会使此连接器崩溃。这应该不是一个大问题，所以我想恢复它。
我尝试了以下步骤：
i post/连接器/接收器/重新启动。然后我看到连接器处于运行模式，但任务仍然失败。
然后我放入/connectors/s3sink/task/0/重新启动。好的，现在任务处于运行模式。
但后来我跟踪日志，发现它开始重写旧数据，比如5月3日的数据。它把旧数据搞砸了！
那么，connect restart rest api是否重置了偏移量？我想它会保存偏移量，然后从偏移量开始它就失败了。
以及如何正确地重新启动失败的连接器任务？删除那些豆荚(使用kubernetes），还是通过rest/task/0/restart？我应该何时使用/connectors/s3sink/restart？
1条答案
按热度按时间6yoyoihd1#
/connector/:name/restart是一个对工作线程的滚动重新启动操作，需要以异步方式传播到所有工作服务器任务。因此，您需要确保领班和所有其他人之间的网络连接。/connector/:name/task/:num/restart将直接向该工作线程发送请求，重新启动线程。重新启动不应重置偏移量，因为它们存储在该连接群集的使用者偏移量主题中。如果有的话，任务不能将偏移提交回
__consumer_offsets主题，但您应该看到该主题的日志。