我有一份工作(处理4GB的数据),我检查了cpu使用率和内存使用率,它们都在10%以下。
6mzjoqzu1#
hadoop附带了用于验证hadoop集群设置的基准实用程序。检查hadoop testdfsio。
qlckcl4x2#
你的工作很可能不需要更多。您可以尝试使用terasort(包含在示例jar中)对集群进行压力测试,如果您的节点仍然以非常低的使用率运行,那么您的配置可能有问题。
2条答案
按热度按时间6mzjoqzu1#
hadoop附带了用于验证hadoop集群设置的基准实用程序。
检查hadoop testdfsio。
qlckcl4x2#
你的工作很可能不需要更多。您可以尝试使用terasort(包含在示例jar中)对集群进行压力测试,如果您的节点仍然以非常低的使用率运行,那么您的配置可能有问题。