我的spark流作业失败,出现以下异常
诊断:容器运行超出物理内存限制。当前使用情况:使用1.5 gb物理内存中的1.5 gb;使用了3.6 gb的3.1 gb虚拟内存。杀人容器。
这是我的命令
spark2-submit \
--name App name \
--class Class name \
--master yarn \
--deploy-mode cluster \
--queue Queue name \
--num-executors 5 --executor-cores 3 --executor-memory 5G \
--conf spark.serializer=org.apache.spark.serializer.KryoSerializer \
--conf spark.locality.wait=10 \
--conf spark.task.maxFailures=8 \
--conf spark.ui.killEnabled=false \
--conf spark.logConf=true \
--conf spark.yarn.driver.memoryOverhead=512 \
--conf spark.yarn.executor.memoryOverhead=2048 \
--conf spark.yarn.max.executor.failures=40 \
jar path
我不确定是什么导致了上述问题。我是在上面的命令中遗漏了什么,还是因为我没有在spark submit命令中设置驱动程序内存而失败了?
暂无答案!
目前还没有任何答案,快来回答吧!