我想办一个 TeraSort 基于基准测试 Hadoop 集群。脚本正在工作，首先它处于运行状态，但几分钟后它就卡住了 Accepted 州和 FinalStatus 未定义。我想，这可能是一个资源问题，所以我修改了 yarn-site.xml 就像上面一样。
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>8192</value>
<description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
</property>又是同样的问题。你也可以看到上面关于这个过程的一些图表。当作业的进度条为9-15%时，它停止。
1条答案
按热度按时间yvfmudvl1#
请验证为这些参数设置的值：
yarn.scheduler.maximum-allocation-mb、mapreduce.map.memory.mb、mapreduce.map.java.opts、mapreduce.reduce.memory.mb、mapreduce.reduce.java.opts
从yarn.scheduler.minimum-allocation-mb开始，将其设置为512mb。这将帮助调度器以较小的增量为任务分配内存。
更新1：此链接有助于了解以下几点：https://www.mapr.com/blog/best-practices-yarn-resource-management
另外，根据您的环境设置输入拆分大小。为了获得最佳的读取性能，您的输入分割大小和块大小应该相同。