我们有一项长期运行的工作,将记录放入elasticsearch。因为es集群在午夜进行路由,所以接收器有时会失败。我们处理这些失败,并将那些失败的插入操作重新添加到队列中,然后继续插入它们。但是我们发现源的背压越来越高,检查点操作最终超时。这项工作将陷入困境,不再有进展。有什么办法解决这个问题吗?非常感谢你!
kmb7vmvb1#
我的建议是不要先输出到es,以确定在向es写入时是否出现背压。建议参考本文:https://blog.csdn.net/dtzly/article/details/101006064
1条答案
按热度按时间kmb7vmvb1#
我的建议是不要先输出到es,以确定在向es写入时是否出现背压。建议参考本文:https://blog.csdn.net/dtzly/article/details/101006064