pyspark Delta Live Tables群集终止

g6baxovj 于 2023-10-15 发布在 Spark

关注(0)|答案(2)|浏览(126)

我在dlt的文档中读到，“因为Delta Live Tables管理集群自动终止和重用逻辑，所以集群自动终止时间不能被覆盖。”
当任务完成后，有没有一种方法可以从笔记本或配置中终止我的dlt集群？

2条答案

您需要在生产模式下运行您的管道-然后它将在作业完成时自动终止：
开启生产模式时，pipelines.clusterShutdown.delay默认值为0秒。启用开发模式时，默认值为 *2小时 *。

您可以使用延迟计算关闭配置在管道执行后终止dlt集群。

{
"configuration": {
  "pipelines.clusterShutdown.delay": "60s"
}
}

下面是没有上述配置，集群仍然运行后管道运行也。

在dlt设置中设置配置。

然后启动管道，点击WAITING_FOR_RESOURCES，选择Json。

您将获得集群详细信息，使用集群ID查看它的状态。

输出量：
集群在延迟2分钟后终止，因为我在配置中给出了这一点。