siddhi wso2 sp中存在打开文件过多问题

lyfkaqu1  于 2021-06-08  发布在  Kafka
关注(0)|答案(2)|浏览(403)

在测试wso2流处理器服务器的性能时,我在部署目录中放置了100多个.siddhi文件。这导致了“打开的文件太多”的问题。
我的基本原则是:
所有的规则都听同一个Kafka的主题
每个规则都有自己的组id(以便所有规则都同时处理流)
当部署文件夹中的.siddhi文件数超过大约100个时。没有部署其他.siddhi文件,siddhi将变得无响应。
有谁能告诉我:
1.我哪里出错了?
在单个siddhi服务器上创建规则的限制是什么?

6gpjuf90

6gpjuf901#

这里似乎发生的是,您的打开的文件描述符快用完了。正如@pcnfernando在前面的回答中所建议的,您可以使用 ulimit -n #### .
然而,真正的问题是为什么会发生这种情况?这可能是由于几个原因。您需要的siddhi文件的数量,以及kafka主题/分区的数量(因为这也会导致太多打开的连接)。
所以即使是你也能解决这个问题 ulimit -n #### ,最好使用 lsof [1] 看看是哪个过程导致了这个问题。这将帮助您解决问题1。
第二季度。没有硬性的规则来定义可以部署在单个服务器上的siddhi规则的数量。这完全取决于变量,比如处理能力、内存,当然还有在这种情况下打开的文件描述符的数量。
[1] https://www.ibm.com/developerworks/aix/library/au-lsof.html

rjee0c15

rjee0c152#

这可能是由于您的操作系统配置。运行以下命令以显示所有当前限制。

ulimit -a
``` `ulimit -n 70000` 将设置文件描述符限制。
在增加限制后尝试该场景。
此外,请验证您是在100个文件中复制同一规则,还是在100个不同的规则中复制。

相关问题