环境:生产集群有2个名称节点(即主节点和备用节点),节点是raid-1配置的sas驱动器。这些节点上只运行主服务(nn和备用nn)。它们的ram为256gb,而数据节点(大部分处理发生在这里)仅设置为128gb。我的问题是:为什么hadoop的主节点有这么高的ram,为什么datanodes不能在数据可用的地方完成大部分处理。?p、 根据hadoop的经验法则,我们每一百万个文件只需要1gb。
5anewei61#
namenode将来自所有datanode的所有文件引用存储在内存中。datanode进程不需要太多内存,只有yarn节点管理器需要
1条答案
按热度按时间5anewei61#
namenode将来自所有datanode的所有文件引用存储在内存中。
datanode进程不需要太多内存,只有yarn节点管理器需要