在mesoswebui中，我可以在一个表中看到spark执行器的内存使用情况 Agents -> Framework -> Executors 有一个表列出了我的spark驱动程序的所有执行器，它们的内存使用情况在列中指明 Mem (Used / Allocated) .
有没有办法通过链接直接获得这个号码？如果有，如何获得？
例如，我可以通过http://ip/mesos/metrics/snapshot 但执行器的内存使用率并不是其中之一。
在mesoswebui中，我可以在一个表中看到spark执行器的内存使用情况 Agents -> Framework -> Executors 有一个表列出了我的spark驱动程序的所有执行器，它们的内存使用情况在列中指明 Mem (Used / Allocated) .
有没有办法通过链接直接获得这个号码？如果有，如何获得？
例如，我可以通过http://ip/mesos/metrics/snapshot 但执行器的内存使用率并不是其中之一。
2条答案
按热度按时间nafvub8i1#
执行器的内存使用量实际上与mesos任务有关，即每个任务执行器将消耗多少内存。
如果以上是您所需要的，您可以使用下面的restapi来获取json，然后解析从中使用的内存。
http://mesos_ip：5050/主/任务
仅供参考。
1cosmwyk2#
我自己找到了答案。对于执行器可能运行的每个工作进程/代理，可以在此处直接访问内存信息：
http://IP_of_worker1:5051/slave(1)/monitor/statistics
http://IP_of_worker2:5051/slave(1)/monitor/statistics等内容是json格式的，框架id允许查找相关的执行器及其内存消耗、cpu使用情况等表中给出的内容。