当在k8s上使用原生支持运行spark 3.4.0时,执行程序的pod在应用程序结束后会被删除,因此很难读取它们的日志。有没有什么方法可以保存执行者Pod的日志?或者是否有某种方法可以防止executor pod在应用程序结束后被删除(例如,使状态完成)?
eit6fx6z1#
我找到了一种避免删除pod的方法。在命令中添加以下内容:
--conf spark.kubernetes.executor.deleteOnTermination=false
1条答案
按热度按时间eit6fx6z1#
我找到了一种避免删除pod的方法。在命令中添加以下内容: