我使用的是9个节点的hadoop集群。我想知道hadoop集群中基本的datanode配置是什么。我在namenode和datanode上使用以下配置。
RAM = 4GB Cores = 4 Disk = 8 ( Total 16GB storage space)
运行示例排序和字数计算作业来检查hadoop网络性能。我选择的配置是否正确？谢谢和问候，阿卜杜勒·纳瓦兹
beq87vna1#
理论上，您可以使用任何您想要的配置，只要它配置正确（以便hadoop知道服务器的功能等）。实际上，每个服务器至少应该有4gb的ram（根据我的经验）。内核的数量会影响性能，您应该有足够的可用磁盘空间来运行服务器（通过设置为非hdfs事物（如服务器工作）保留的空间量） dfs.datanode.du.reserved 在 hdfs-site.xml ).我不确定正常的hadoop工作应该有多少空闲空间-我想这取决于你的工作。16gb在任何情况下都不是很大。一般来说，只要配置正确，您的设置就应该很好。
dfs.datanode.du.reserved
hdfs-site.xml
1条答案
按热度按时间beq87vna1#
理论上，您可以使用任何您想要的配置，只要它配置正确（以便hadoop知道服务器的功能等）。
实际上，每个服务器至少应该有4gb的ram（根据我的经验）。内核的数量会影响性能，您应该有足够的可用磁盘空间来运行服务器（通过设置为非hdfs事物（如服务器工作）保留的空间量）
dfs.datanode.du.reserved在hdfs-site.xml).我不确定正常的hadoop工作应该有多少空闲空间-我想这取决于你的工作。16gb在任何情况下都不是很大。
一般来说，只要配置正确，您的设置就应该很好。