上下文:使用Kafka connect 7.4.0从Postgres视图读取数据并写入另一个Postgres表。
一切正常,但每当我通过rest API停止源连接器时,我总是得到:
Graceful stop of task (task-name-here) failed.
有趣的是,只有任务本身无法优雅地关闭。连接器本身是这样做的,因为我有这个日志条目比上面的早几毫秒:
Graceful stop of connector (connector-name-here) succeeded.
使用以下方法关闭连接器:
DEL http://kafka-connect:8083/connectors/connector_name_here
- 接收器连接器和任务关闭正常。只是源**任务失败。
超时已增加,但没有帮助:task.shutdown.graceful.timeout.ms=60000
连接器是definitely不运行(即,阅读数据从源数据库)的原因,操作已经完成了相当长的一段时间。连接器设置为每天运行一次,以便在夜间加载数据。offset.flush.interval.ms=10000
在开发和集成环境中。offset.flush.interval.ms=60000
在生产和UAT中。
它发生在所有环境中。
知道为什么任务无法正常关闭吗?这被记录为ERROR,我需要在警报系统中消除这些误报。
1条答案
按热度按时间pw136qt21#
在联系Kafka用户邮件列表后,问题可能是由于Kafka Connect中与执行任务停止信号的线程相关的更改引起的。Kafka connect JDBC还没有适应这种变化。
kafka-connect-jdbc repo中的issue has been raised。