我的hadoop集群是基于虚拟机的。配置如下:
一个主人和九个奴隶。
硕士学位:
磁盘空间:20gb
内存:16g
cpu核数:8
从1~从9:
磁盘空间:5gb
内存:16g
cpu核数:8
我知道磁盘空间太慢,但我的数据不是很大(大约10gb),所以我觉得足够了。此外,我的Map器(没有缩小)是非常简单的。输出不大于5gb。
当我使用2gb数据测试它时(已经上传了hdfs)。总是出现以下错误:
容器[pid=17619,containerid=container\u 1400594068017\u 0014\u 01\u000009]运行超出物理内存限制。当前使用情况:使用1 gb物理内存中的1.0 gb;使用了11.8 gb的2.1 gb虚拟内存。杀人容器。
是的,我需要增加jvm。但是,我想知道的是:虚拟内存是如何计算的,为什么它需要11.8gb(大于从磁盘空间)?是不是我的奴隶的磁盘空间太少的原因?还是有其他原因?配置问题?提前谢谢。
暂无答案!
目前还没有任何答案,快来回答吧!