我正在用yarn运行mrjava程序,尽管Map程序的数量是24个,但实际运行的Map程序是10个,其余14个Map程序处于挂起状态。如何使它们也进入运行模式。我们正在运行mapr6节点集群。更改了mapred-site.xml和yarn-site.xml中的以下属性。这些值被默认值覆盖,但我没有看到任何性能基准。
注意。我用mrv1运行同一个程序,从性能上看,它更好一些。因此,请建议我如何利用好集群利用资源。
使用的命令:jar/opt/cluster/bin/logmessage-1.0-snapshot.jar com.message.wordprepreprocessdriver-dmapreduce.input.fileinputformat.split.maxsize=33554432/data/123.txt
Yarn现场
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20960</value>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
在绘制的站点中
<name>mapreduce.map.memory.mb</name>
<value>4096</value>
<name>mapreduce.reduce.memory.mb</name>
<value>8192</value>
<name>mapreduce.map.java.opts</name>
<value>-Xmx3072m</value>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx6144m</value>
mapreduce.job.mapsMap
<name> mapreduce.job.maps</name>
<value>4</value>
你看,实际上总共有11个集装箱。有40个vcore可用,其中运行mr程序时使用了11个vcore。你能告诉我需要更改哪些属性吗。?
谢谢你,马杜
暂无答案!
目前还没有任何答案,快来回答吧!