Spark容器因物理内存限制而死亡

ulydmbyx  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(251)

当spark遇到物理内存限制错误时,通常的主题是内存开销参数。我试图理解“考虑增强spark.yarn.executor.memoryoverhead”将如何解决容器因超出物理内存限制而被杀死的问题?怎样?
例如,我得到超过内存限制8.2 gb的8 gb的物理内存使用Yarn杀死容器。提高内存开销有什么帮助?如果executor容器内存被定义为x,那么我们知道spark.executor(x)+内存开销(o)应该小于yarn.nodemanager.resource.memory-mb定义的节点中容器允许的总内存。如何改变一个参数,这里是memory.overhead来解决这个问题?如果x+o<=total,如果i增加o,x应该减少,对吗?很难理解,提高内存开销将如何解决这个问题。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题