hadoop配置单元:提供Map器内存范围的方法

whhtz7ly  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(228)

目前我正在使用配置单元设置 mapreduce.map.memory.mb=10240 随着 mapreduce.map.java.opts=-Xmx8192m 为Map器提供所需的内存。
但是随着数据量的每天增长,我必须在检查错误后每隔一段时间增加一次这个设置 container is running beyond virtual memory limits .
有没有一种方法可以为Map器指定一些最小和最大内存,其中配置单元本身将首先尝试最小内存配置,然后在需要时逐步增加它?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题