当前设置
我们有10个节点的发现集群。
这个集群的每个节点都有24个内核和264 gb ram，为后台进程保留一些内存和cpu，我们计划使用240 gb内存。
现在，当谈到容器设置时，由于每个容器可能需要1个核心，因此最多可以有24个容器，每个容器都有10gb内存。
通常集群有1-2GB内存的容器，但是我们的可用内核有限，或者我遗漏了一些东西
问题陈述
由于我们的集群被数据科学家和分析师广泛使用，仅有24个容器是不够的。这会导致严重的资源争用。
有没有办法增加集装箱的数量？
我们正在考虑的方案
如果我们要求团队运行许多tez查询（不是单独的），而是在一个文件中，那么最多我们会保留一个容器。
请求
是否有其他方法可以管理我们的发现群集。
有没有可能缩小集装箱的尺寸。
vcore（作为一个逻辑概念）能否由多个容器共享？
1条答案
按热度按时间dwbf0jvd1#
vcore只是一个逻辑单元，与cpu核心没有任何关系，除非您将yarn与cgroups一起使用并且具有
yarn.nodemanager.resource.percentage-physical-cpu-limit启用。大多数任务很少受cpu限制，但更典型的是受网络i/o限制。因此，如果要查看集群的总体cpu利用率和内存利用率，应该能够根据浪费的（空闲）容量调整容器的大小。您可以使用大量工具来衡量利用率，但是
sar,ganglia以及grafana这些都是显而易见的，但是你也可以看看brendan gregg的linux性能工具来获得更多的想法。