我目前有一个由3台运行ubuntu的机器组成的集群，并且已经使用cloudera管理器进行了配置。在查看集群时，我看到其中两台机器有一个错误“memory overmit validation threshold”。一种是当机器中只有3.8gb物理内存时使用6.3gb内存，另一种是当机器中只有7.8gb物理内存时使用11.6gb内存。
我认为这是因为这两个节点都被设置为datanodes和namenodes，但是我不知道如何使它只使用可用的内存而不交换。我已经在sysctl.conf文件中将swappeiness设置为0。
我无法将另一台计算机用于namenode或向计算机添加任何内存。你知道如何降低内存使用率，以及应该降低到什么程度，这样集群就不会因为可用内存太少而开始失败吗？
1条答案
按热度按时间pbgvytdp1#
这与交换完全无关。仅当为该节点上的服务分配的内存大于该节点可用的总内存时，才会发生此错误（请注意，默认情况下为系统保留了20%的内存）
转到每个主机上的参考资料页，查看每个服务正在使用多少内存。您可以通过转到配置选项卡（针对每个服务）并对其进行更改（使用配置页搜索栏中的“内存”或“堆”来调出这些属性）来降低每个服务使用的内存量
这样做可以消除该错误，但这不是建议的修复方法。出现此错误的原因首先是集群上运行的服务可能太多。试着扔掉一些你不用的。您随时可以稍后添加它们（当您添加更多内存时）