如何检查hadoop是否已针对作业进行了调整,

eiee3dmh  于 2021-06-03  发布在  Hadoop
关注(0)|答案(2)|浏览(371)

我有一份工作(处理4GB的数据),我检查了cpu使用率和内存使用率,它们都在10%以下。

6mzjoqzu

6mzjoqzu1#

hadoop附带了用于验证hadoop集群设置的基准实用程序。
检查hadoop testdfsio。

qlckcl4x

qlckcl4x2#

你的工作很可能不需要更多。您可以尝试使用terasort(包含在示例jar中)对集群进行压力测试,如果您的节点仍然以非常低的使用率运行,那么您的配置可能有问题。

相关问题