我们面临着气流和Spark的问题。
设置：我们目前正在使用ApacheAirflow（v2.0.1）为我们的一个项目监视和调度工作流。我们使用spark submit操作符创建了一个dag(spark v3.0.0版）
airflow>SparkSubmitor in cluster mode with kubernetes as spark master k8s://>kubernetes上spark驱动程序和执行器吊舱的动态分配和吊舱管理
问题：当从airflow ui触发dag时，我们面临一个问题，即它随机地被某个任务卡住，它在ui中不断显示任务正在运行，而在driver pod中完成。我们已经单独测试了它的每个任务，它们正在成功执行。
下面是dag图供您参考。

我们在airfolui上为任务重复获取以下日志。

尝试解决此问题：在python代码中添加spark.stop（）和sys.exit（0）以返回正确的退出状态(但是运气不好——气流会在任务中随机卡住）。
我在过去几天一直在处理这个问题，但无法解决它，这里的任何线索/方向都会有所帮助。