使用spark操作符在spark驱动程序pod中重置连接

c3frrgcw 于 2021-07-12 发布在 Spark

关注(0)|答案(0)|浏览(213)

我们使用spark操作符来执行作业，使用kubectl apply命令

kubectl apply -f /temp/spark.yaml -n ${nameSpace} --context ${Context}

当我们启动这个命令时，驱动程序pod将被创建，但我们在spark驱动程序和执行器中的连接会立即丢失，最终，作业不会触发

我的假设是，每当我们提交一个作业时，都会丢失与节点的连接，因此不会创建执行器
因此，我们尝试引入容忍规则，说明我的kubernetes节点是不可访问的还是未就绪的，将在新节点中创建pod
但我还是能看到同样的问题。经过7个小时的长时间运行，同样的问题又来了