跟踪apachespark2.0.2的内存使用或消耗

vi4fp9gy  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(247)

我是apachespark的初学者,已经用hadoop安装了apachespark的预构建发行版。我希望在运行spark中实现的示例pagerank时获得内存的消耗或使用情况。我有一个maser和4个worker(虚拟机)的集群独立模式
我尝试过像ganglia和graphite这样的外部工具,但它们给出了资源或系统级别的内存使用情况(更一般),但我需要的是“在运行算法时跟踪内存的行为(存储、执行),这意味着,spark应用程序id的内存使用情况”。是否有任何方法可以将其放入文本文件以供进一步利用?请帮我一下,谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题