spark executor内存开销包括jvm内存开销吗?

xfb7svmp  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(292)

我在yarn上运行spark,每个executor都在cgroup中运行,对于一个任务,我将executor内存指定为10g,cgroup内存限制为11g,考虑到executor内存开销(默认值为0.1),但似乎java进程总是试图使用超过11g的内存,然后被cgroup杀死,因为这触发了oom。那么1gb spark executor的内存开销是否包括jvm的所有内存开销?需要更多的内存吗?或者我应该尝试增加cgroup内存限制吗?下面是executor和dmesg日志的start命令行:executor和dmesg日志的start命令行

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题