我在yarn上运行spark,每个executor都在cgroup中运行,对于一个任务,我将executor内存指定为10g,cgroup内存限制为11g,考虑到executor内存开销(默认值为0.1),但似乎java进程总是试图使用超过11g的内存,然后被cgroup杀死,因为这触发了oom。那么1gb spark executor的内存开销是否包括jvm的所有内存开销?需要更多的内存吗?或者我应该尝试增加cgroup内存限制吗?下面是executor和dmesg日志的start命令行:executor和dmesg日志的start命令行
暂无答案!
目前还没有任何答案,快来回答吧!