aws emr metric server-群集驱动程序引发内存不足错误

uz75evzq  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(108)

这是关于我之前的帖子(这里)关于我在运行了一些spark步骤之后在一个驱动程序上遇到的oom。
我有一个集群,除了主节点外还有两个节点,作为客户机运行作业。这是一个不太需要记忆的小工作。
我通过htop特别关注hadoop进程,它们是用户生成的进程,也是最高的内存消耗者。罪魁祸首是amazon.emr.metric.server进程,其次是state pusher进程。
作为一个测试,我终止了进程,ganglia显示的内存急剧下降,这样我就可以在oom再次发生之前连续运行3-4个作业。如果我手动终止进程,这种行为就会重复。
我的问题实际上是关于这些过程的默认行为,以及我所看到的是正常的还是疯狂的事情正在发生。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题