spark streaming-diagnostics:容器运行超出了物理内存限制

a64a0gku  于 2021-05-27  发布在  Hadoop
关注(0)|答案(0)|浏览(329)

我的spark流作业失败,出现以下异常
诊断:容器运行超出物理内存限制。当前使用情况:使用1.5 gb物理内存中的1.5 gb;使用了3.6 gb的3.1 gb虚拟内存。杀人容器。
这是我的命令

spark2-submit \
--name App name \
--class Class name \
--master yarn \
--deploy-mode cluster \
--queue Queue name \
--num-executors 5 --executor-cores 3 --executor-memory 5G \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.locality.wait=10 \
--conf spark.task.maxFailures=8 \
--conf spark.ui.killEnabled=false \
--conf spark.logConf=true \
--conf spark.yarn.driver.memoryOverhead=512 \
--conf spark.yarn.executor.memoryOverhead=2048 \
--conf spark.yarn.max.executor.failures=40 \
jar path

我不确定是什么导致了上述问题。我是在上面的命令中遗漏了什么,还是因为我没有在spark submit命令中设置驱动程序内存而失败了?

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题