kubernetes 我在k8s上运行spark 3.4.0,如何保存executor pod的日志?

yftpprvb  于 2023-06-21  发布在  Kubernetes
关注(0)|答案(1)|浏览(175)

当在k8s上使用原生支持运行spark 3.4.0时,执行程序的pod在应用程序结束后会被删除,因此很难读取它们的日志。
有没有什么方法可以保存执行者Pod的日志?或者是否有某种方法可以防止executor pod在应用程序结束后被删除(例如,使状态完成)?

eit6fx6z

eit6fx6z1#

我找到了一种避免删除pod的方法。在命令中添加以下内容:

--conf spark.kubernetes.executor.deleteOnTermination=false

相关问题