amazonec2.micro上的hadoop2.x

wkyowqbh  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(223)

我尝试在amazonec2t2.micro示例(免费的,只有1gb内存)上以伪分布式模式安装和配置hadoop2.6。我可以配置并启动所有守护进程(即namenode、datanode、resourcemanager、nodemanager)。但当我尝试运行mapreduce wordcount示例时,它失败了。我不知道它的失败是否是因为内存不足(因为t2.micro只有1gb的内存,有些内存被主机操作系统占用,我的例子是ubuntu)。或者是别的原因?我使用的是默认内存设置。如果我能把所有的东西调整到最小内存设置,它能解决问题吗?可以分配给容器的最小内存(mb)是多少。谢谢大家。如果你能给我提供一些信息,我将不胜感激。

krugob8w

krugob8w1#

在不调整任何内存设置的情况下,我可以运行一个带有1个mapper和1个reducer的pi示例,有时只在空闲层t2.micro示例上运行,但大多数情况下都会失败。通过使用内存优化的r3.large示例和15gbram,一切工作都很完美。所有工作都能顺利完成。

相关问题