hadoop中namenode的内存

w51jfk4q  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(475)

环境:生产集群有2个名称节点(即主节点和备用节点),节点是raid-1配置的sas驱动器。这些节点上只运行主服务(nn和备用nn)。它们的ram为256gb,而数据节点(大部分处理发生在这里)仅设置为128gb。
我的问题是:为什么hadoop的主节点有这么高的ram,为什么datanodes不能在数据可用的地方完成大部分处理。?
p、 根据hadoop的经验法则,我们每一百万个文件只需要1gb。

5anewei6

5anewei61#

namenode将来自所有datanode的所有文件引用存储在内存中。
datanode进程不需要太多内存,只有yarn节点管理器需要

相关问题