- 问题-**
我有30个ElasticSearch的数据节点，它们应该通过logstash消费者消耗大量数据。这30个节点托管在EKS上，并且正在经历429 too many request error，因为logstash正在发送大量请求**（这是需要的）**。
在这30个节点中，我只看到有一两个节点的请求在池中排队，其余28个节点根本没有排队，请在
下面查找详细信息
- 当前参数**
- ElasticSearch：
线程池：
写：
人数：9人
队列大小：30000
- logstash.outputs:
不活动后验证=〉0
超时=〉500
池最大值=〉4000
每个路由的池最大值=〉1500
- 管道参数：
pipeline.batch.size:8000
pipeline.batch.delay:6000
pipeline.workers:30
- 我的理解**我理解我的elasticsearch无法写入，因为它正在接收大量数据，我可以通过减少批处理大小/worker等来减少logstash的吞吐量，但我希望调整elasticsearch，因为我需要通过logstash获得这么多吞吐量
我应该如何解决这个问题，让我的elasticsearch队列中有更多的请求分布在数据集群中，这样我就不会遇到429个错误了？
- 我尝试过的事情**增加-〉队列大小、CPU、内存
1条答案
按热度按时间5lwkijsr1#
Elasticsearch中的429 Too Many Requests错误表示群集因请求过多而过载，无法有效处理这些请求。
我知道我的elasticsearch无法写入，因为它正在接收大量数据
正确。在当前Elasticsearch集群、碎片体系结构、索引Map、碎片位置、碎片大小中，Elasticsearch无法处理传入的写入请求。增加池大小只是暂时增加队列中允许的文档（默认队列为1k），队列满后将再次拒绝。
要解决此问题，我建议您检查AutoOps产品。https://opster.com/
Opster会帮助你了解缺少了什么。