我正在对yarn上的spark作业进行一些内存调整，我注意到不同的设置会产生不同的结果，并影响spark作业运行的结果。但是，我很困惑，不完全理解为什么会这样，如果有人能给我一些指导和解释，我将不胜感激。
我将提供一些背景资料，并张贴我的问题，并描述我经历过的案件后，他们在下面。
我的环境设置如下：
内存20g，每个节点20个vCore（共3个节点）
hadoop 2.6.0版
Spark1.4.0
我的代码递归地过滤rdd使其变小（将示例作为算法的一部分删除），然后执行maptopair和collect以收集结果并将其保存在列表中。

问题

为什么在第一种情况和第二种情况之间抛出不同的错误并且作业运行更长时间（对于第二种情况），而只增加执行器内存？这两个错误有某种联系吗？
第三个和第四个案例都成功了，我明白这是因为我给了更多的内存，解决了内存问题。然而，在第三种情况下，
spark.driver.memory+spark.yarn.driver.memoryoverhead=yarn将创建jvm的内存
=11g+（驱动器内存0.07，最小384m）=11g+1.154g=12.154g
因此，从公式中可以看出，我的作业需要总共12.154g左右的内存才能成功运行，这就解释了为什么我需要超过10g的驱动程序内存设置。
但对于第四种情况，
spark.driver.memory+spark.yarn.driver.memoryoverhead=yarn将创建jvm的内存
=2+（驱动器内存0.07，最小384m）=2g+0.524g=2.524g
似乎只需将内存开销增加1024（1g）就可以成功运行该作业，而驱动程序内存仅为2g，内存总量仅为2.524g！然而，没有开销配置，驱动程序内存小于11g失败，但它没有意义，从公式，这就是为什么我感到困惑。
为什么增加内存开销（对于驱动程序和执行程序）可以使我的作业以较低的内存总量（12.154g对2.524g）成功完成？我在工作中是否还缺少其他一些内在的东西？

第一个案例 /bin/spark-submit --class <class name> --master yarn-cluster --driver-memory 7g --executor-memory 1g --num-executors 3 --executor-cores 1 --jars <jar file> 如果我用小于11g的驱动程序内存运行我的程序，我会得到下面的错误，下面是正在停止的sparkcontext，或者类似的错误，下面是正在停止的sparkcontext上调用的方法。据我所知，这与记忆不足有关。

第二种情况 /bin/spark-submit --class <class name> --master yarn-cluster --driver-memory 7g --executor-memory 3g --num-executors 3 --executor-cores 1 --jars <jar file> 如果我使用相同的驱动程序内存但更高的执行程序内存运行该程序，则该作业比第一种情况运行的时间更长（约3-4分钟），然后它将遇到与之前不同的错误，即容器请求/使用的内存超过了允许的内存，因此被终止。尽管我觉得很奇怪，因为执行器内存增加了，并且出现了这个错误而不是第一种情况下的错误。

第三种情况 /bin/spark-submit --class <class name> --master yarn-cluster --driver-memory 11g --executor-memory 1g --num-executors 3 --executor-cores 1 --jars <jar file> 驱动程序内存大于10g的任何设置都将导致作业能够成功运行。

第四种情况 /bin/spark-submit --class <class name> --master yarn-cluster --driver-memory 2g --executor-memory 1g --conf spark.yarn.executor.memoryOverhead=1024 --conf spark.yarn.driver.memoryOverhead=1024 --num-executors 3 --executor-cores 1 --jars <jar file> 使用此设置（驱动程序内存2g和执行器内存1g）作业将成功运行，但会增加驱动程序内存开销（1g）和执行器内存开销（1g）。

任何帮助将不胜感激，并将真正有助于我的理解Spark。提前谢谢。