如何缩放日志存储节点?

avwztpqn  于 2021-06-06  发布在  Kafka
关注(0)|答案(1)|浏览(323)

我们有一个贝尔克设置,其中一个单一的logstash目前正在从“Kafka”和它目前落后数百万的日志。它怎么能在原木边上结垢呢?如何添加第二个日志存储服务器并使它们共享负载?

o0lyfsai

o0lyfsai1#

如果启动第二个示例并且它使用相同的组标识,则所有分区都将在这两个logstash示例中平均分割。
值得确保您的消息在所有分区之间均匀分布(也就是说,您的消息不是放在一个分区中,也不是放在少数几个分区中)。
仅供参考,如果还没有,您还可以调整logstash的单个示例。特别是,使用者线程的默认数目是1,这只会在您有1个分区时产生。

相关问题