我的公司在mesos上运行hadoop,我是mesos的新手。我负责的hadoop应用程序的当前限制速率是reducer任务的速度,所以我希望通过mesos和hadoop内存设置来加速reducer。
不幸的是,我不理解hadoop内存设置和mesos内存配置之间的关系,我怀疑mesos可能会覆盖我的一些hadoop内存设置。
更改mapreduce.reduce.java.opts或mapreduce.reduce.memory.mb(在/etc/hadoop/conf/mapred site.xml中)的值是否受mesos的影响?mesos是否限制了我可以分配给reducer的内存量?
如果是这样,那么mesos中的配置文件在哪里,以便我可以更改这些设置?
谢谢!
2015年9月30日更新:
文件位于https://github.com/mesos/hadoop/blob/master/configuration.md 列出可以放入mapred-site.xml文件中的参数。
我仍然不确定这些参数如何影响mapred-site.xml中与内存相关的hadoop配置参数。
1条答案
按热度按时间kokeuurv1#
配置在各自的github repo mesos/hadoop中进行了描述。