我想问，在我运行hadoopmapreduce应用程序之后，如何获得该应用程序的总内存和cpu使用率。我在日志和资源管理器网页上看到过它，但我没有得到它。有可能吗？我可以在每个作业执行或每个应用程序上获得它吗？我可以在每个节点使用率或总使用率上获得它吗？谢谢。。。。
7uzetpgm1#
是的，您可以很好地检查应用程序的总内存和cpu使用情况。您可以使用job tracker ui，单击completed页面上的counters链接，可能会得到如下典型视图。内存和cpu计数器突出显示。单击突出显示的链接将显示作业的每个任务（map/reduce）的消耗量。要从命令行查看这些消耗计数器的值，可以使用 hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter CPU_MILLISECONDS cpu使用率 hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter PHYSICAL_MEMORY_BYTES 对于内存使用
hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter CPU_MILLISECONDS
hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter PHYSICAL_MEMORY_BYTES
1条答案
按热度按时间7uzetpgm1#
是的，您可以很好地检查应用程序的总内存和cpu使用情况。
您可以使用job tracker ui，单击completed页面上的counters链接，可能会得到如下典型视图。内存和cpu计数器突出显示。
单击突出显示的链接将显示作业的每个任务（map/reduce）的消耗量。
要从命令行查看这些消耗计数器的值，可以使用
hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter CPU_MILLISECONDScpu使用率hadoop job -counter <job-id> org.apache.hadoop.mapreduce.TaskCounter PHYSICAL_MEMORY_BYTES对于内存使用