由于背压导致检查点超时

hyrbngr7  于 2021-06-24  发布在  Flink
关注(0)|答案(1)|浏览(290)

我们有一项长期运行的工作,将记录放入elasticsearch。因为es集群在午夜进行路由,所以接收器有时会失败。我们处理这些失败,并将那些失败的插入操作重新添加到队列中,然后继续插入它们。但是我们发现源的背压越来越高,检查点操作最终超时。这项工作将陷入困境,不再有进展。
有什么办法解决这个问题吗?非常感谢你!

kmb7vmvb

kmb7vmvb1#

我的建议是不要先输出到es,以确定在向es写入时是否出现背压。建议参考本文:https://blog.csdn.net/dtzly/article/details/101006064

相关问题