我有一个dataproc集群在googlecloud中运行,有3个主节点和40个工作节点。我使用hadoop resourcemanager监视应用程序和其他指标,如队列使用情况、内存使用情况、应用程序运行情况等。我无法获取获取群集内存使用情况的命令,因为我使用下面的命令获取dfs使用情况和其他指标。
hdfs管理-报告
请让我知道从资源管理器获取linux服务器内存使用情况的命令,如下面的屏幕截图所示
我也通过下面的链接获得了更多的细节,但这并没有帮助我得到我想要的
https://hadoop.apache.org/docs/current/
2条答案
按热度按时间uubf1zoe1#
我相信信息是通过jmx的/jmx url路径以及metrics api公开的
如果您想远程访问jmx,可以通过yarn-env.sh文件启用它
然后将jconsole指向资源管理器的端口8001,四处搜索所需的值
wz8daaqr2#
如果监视( Jmeter 板或警报)是您的最终目标,我建议您研究stackdriver监视。dataproc与之集成,提供了许多集群度量(包括yarn和hdfs)。
对于一次性,您可以:
gcloud compute ssh my-cluster-m -c "hdfs admin -report"
您还可以从clusterMetrics
通过描述集群来创建字段。