Kafka连接任务优雅停止失败

wgeznvg7  于 2023-10-15  发布在  Apache
关注(0)|答案(1)|浏览(166)

上下文:使用Kafka connect 7.4.0从Postgres视图读取数据并写入另一个Postgres表。
一切正常,但每当我通过rest API停止源连接器时,我总是得到:

Graceful stop of task (task-name-here) failed.

有趣的是,只有任务本身无法优雅地关闭。连接器本身是这样做的,因为我有这个日志条目比上面的早几毫秒:

Graceful stop of connector (connector-name-here) succeeded.

使用以下方法关闭连接器:

DEL http://kafka-connect:8083/connectors/connector_name_here
    • 接收器连接器和任务关闭正常。只是源**任务失败。

超时已增加,但没有帮助:task.shutdown.graceful.timeout.ms=60000
连接器是definitely不运行(即,阅读数据从源数据库)的原因,操作已经完成了相当长的一段时间。连接器设置为每天运行一次,以便在夜间加载数据。
offset.flush.interval.ms=10000在开发和集成环境中。offset.flush.interval.ms=60000在生产和UAT中。
它发生在所有环境中。
知道为什么任务无法正常关闭吗?这被记录为ERROR,我需要在警报系统中消除这些误报。

pw136qt2

pw136qt21#

在联系Kafka用户邮件列表后,问题可能是由于Kafka Connect中与执行任务停止信号的线程相关的更改引起的。Kafka connect JDBC还没有适应这种变化。
kafka-connect-jdbc repo中的issue has been raised

相关问题