运行较大的Yarn作业（hadoop版本hdp-3.1.0.0（3.1.0.0-78））的主要限制是什么？如何增加它？基本上，我们希望同时做更多（所有这些都是相当大的）sqoop工作。
我现在假设我需要增加资源管理器堆的大小（因为这是我运行yarn作业时在ambari Jmeter 板上看到的）。如何向rm heap添加更多的资源/为什么rm heap在整个集群的可用ram总量中占这么小的比例？
查看ambari:yarn集群内存是55gb，但rm堆只有900mb。
有经验的人能告诉我有什么不同吗？运行更多Yarn应用程序的限制因素是什么？还有什么我应该看的吗？有更详细的解释吗？
1条答案
按热度按时间toiithl61#
调整yarn和mapreduce内存的方便方法是使用yarn utils脚本。
下载配套文件##参考
执行yarn实用程序脚本##ref
通过提供可用内核、可用内存、磁盘数量、是否安装了hbase，可以执行yarn-utils.py python脚本。
如果您有一个异构hadoop集群，那么您必须根据节点规范创建配置组。如果你需要更多的信息，让我知道我会根据这个更新我的答案。