因在spark scala中超过内存限制而被Yarn杀死的容器

6yt4nkrj 于 2021-07-12 发布在 Spark

关注(0)|答案(1)|浏览(315)

我在使用spark submit命令运行spark scala代码时遇到以下错误。
错误cluster.yarclusterscheduler:x上丢失执行器14:容器因超出内存限制而被yarn杀死。使用55 gb物理内存中的55.6 gb。
它抛出错误的行号代码如下。。。

df.write.mode("overwrite").parquet("file")

我正在写Parquet文件。。。。它一直工作到昨天不确定从上次运行只是它抛出了同一个输入文件的错误。
谢谢，纳文

1条答案

通过在spark submit命令中使用below conf运行，问题得到解决，代码运行成功。

--conf spark.dynamicAllocation.enabled=true

谢谢，纳文